[論文レビュー] Using the Web as an Implicit Training Set: Application to Noun Compound Syntax and Semantics

Preslav Nakov|arXiv (Cornell University)|Nov 23, 2019

Natural Language Processing Techniques被引用数 8

ひとこと要約

この論文では、検索エンジンのクエリ結果から表面的特徴、並び替え表現、頻度推定を活用することで、Webを暗黙の学習データセットとして用い、名詞複合語の解析と意味解釈を向上させる手法を提案する。本手法は、教師なし名詞複合語括弧挿入において最先端の性能を達成し、機械翻訳、情報検索、質問応答などの応用において意味的な並び替え表現を可能にする。

ABSTRACT

An important characteristic of English written text is the abundance of noun compounds - sequences of nouns acting as a single noun, e.g., colon cancer tumor suppressor protein. While eventually mastered by domain experts, their interpretation poses a major challenge for automated analysis. Understanding noun compounds' syntax and semantics is important for many natural language applications, including question answering, machine translation, information retrieval, and information extraction. I address the problem of noun compounds syntax by means of novel, highly accurate unsupervised and lightly supervised algorithms using the Web as a corpus and search engines as interfaces to that corpus. Traditionally the Web has been viewed as a source of page hit counts, used as an estimate for n-gram word frequencies. I extend this approach by introducing novel surface features and paraphrases, which yield state-of-the-art results for the task of noun compound bracketing. I also show how these kinds of features can be applied to other structural ambiguity problems, like prepositional phrase attachment and noun phrase coordination. I address noun compound semantics by automatically generating paraphrasing verbs and prepositions that make explicit the hidden semantic relations between the nouns in a noun compound. I also demonstrate how these paraphrasing verbs can be used to solve various relational similarity problems, and how paraphrasing noun compounds can improve machine translation.

研究の動機と目的

• 英語の科学的・技術的文書に一般的に見られる構文的・意味的に複雑な名詞複合語の解析と解釈の課題に対処すること。
• 名詞複合語の構文と意味に関するアノテート済み学習データの不足を補うために、Webを暗黙的かつ大規模なコーパスとして活用すること。
• 検索エンジンインターフェースを活用して表面的特徴、並び替え表現、頻度推定を抽出する教師なし・軽度教師付き手法を開発し、解析と意味解釈の精度を向上させること。
• 質問応答、情報検索、機械翻訳などの応用を可能にするために、名詞複合語の意味的な並び替え表現を生成すること。
• Web由来の特徴と並び替え表現が構造的曖昧性を解消し、関係的類似性と翻訳品質を向上させることを実証すること。

提案手法

• n-gram頻度の代理として検索エンジンのヒット数を用い、Webを教師なし学習のための大規模な暗黙のコーパスとして扱う。
• ダッシュ、所有格マーク、内部大文字、埋め込みスラッシュ、括弧といった、Web由来の新しい表面的特徴を導入し、括弧挿入の正確性を向上させる。
• 「〜によって生成される」「〜に使用される」などの並び替え表現パターンを考案し、複合語内の名詞間の隠れた意味的関係をモデル化する。
• ポイント相互情報量（PMI）とカイ二乗統計量を用いて、語と特徴の関連性を測定し、特徴選択を強化する。
• ワイルドカードクエリと逆順接続モデルを用いて、非隣接または順序が入れ替わった名詞複合語構造を捉える。
• 頻度ベースの特徴と並び替え表現パターンを組み合わせ、手動アノテーションなしで正しい括弧挿入と意味的関係を予測するモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 Webは、名詞複合語の構文と意味の学習データとして、効果的でスケーラブルかつ教師なしに利用可能であるか？
• RQ2 Web由来の表面的特徴と並び替え表現パターンは、従来のn-gramモデルと比較して、名詞複合語括弧挿入の正確性をどの程度向上させるか？
• RQ3 自動的に生成された並び替え動詞や前置詞は、名詞複合語の関係的類似性と意味的解釈をどの程度改善するか？
• RQ4 Web由来の特徴と並び替え表現は、未知の名詞複合語のための機械翻訳システムを向上させられるか？
• RQ5 言語処理タスクにおいて、Webヒット数推定はどの程度安定的で信頼性があるか？主なノイズ源と不整合要因は何か？

主な発見

• 提案手法は、教師なし名詞複合語括弧挿入において最先端の性能を達成し、従来のn-gramモデルや依存構文解析モデルを顕著に上回る。
• ダッシュ、所有格マーク、括弧といったWeb由来の表面的特徴は、生テキストに存在しない構文的手がかりを捉えることで、括弧挿入の正確性を向上させる。
• 「〜によって生成される」「〜に使用される」などの並び替え表現パターンは、複合語内の名詞間の意味的関係を効果的にモデル化し、意味的解釈と関係的類似性の計算を可能にする。
• 並び替え動詞の使用により、機械翻訳が向上し、例えば「WTO Geneva headquarters」を「Geneva headquarters of the WTO」と並び替えることで未知の名詞複合語の処理が可能になる。
• ヒット数推定の安定性に制限はあるが、信頼区間とフィルタリングを組み合わせることで、異なる検索エンジンや時間経過に対しても堅牢な結果が得られる。
• 本手法は、前置詞句の付随や名詞句の結合といった他の構造的曖昧性の問題に対しても一般化可能であり、広範な適用可能性を示している。