[論文レビュー] A derivational rephrasing experiment for question answering

Bernard Jacquemin|arXiv (Cornell University)|Oct 27, 2010

Natural Language Processing Techniques参考文献 30被引用数 3

ひとこと要約

本稿では、語彙的派生ルールとDuboisフランス語辞書からの派生ガイドラインを組み合わせることで、意味的に正確な派生語を生成する、精度に重点を置いた質問応答の派生的言い換え手法を提案する。語彙的ルールによる候補のフィルタリングと文法構造解析および意味素の識別を組み合わせることで、言い換えの過程で意味を保持しつつ、精度を損なわず質問応答の性能を向上させることができ、類義語言い換えと組み合わせると、潜在的な性能向上が10%見込まれる。

ABSTRACT

In Knowledge Management, variations in information expressions have proven a real challenge. In particular, classical semantic relations (e.g. synonymy) do not connect words with different parts-of-speech. The method proposed tries to address this issue. It consists in building a derivational resource from a morphological derivation tool together with derivational guidelines from a dictionary in order to store only correct derivatives. This resource, combined with a syntactic parser, a semantic disambiguator and some derivational patterns, helps to reformulate an original sentence while keeping the initial meaning in a convincing manner This approach has been evaluated in three different ways: the precision of the derivatives produced from a lemma; its ability to provide well-formed reformulations from an original sentence, preserving the initial meaning; its impact on the results coping with a real issue, ie a question answering task . The evaluation of this approach through a question answering system shows the pros and cons of this system, while foreshadowing some interesting future developments.

研究の動機と目的

• 質問応答における品詞の変化の課題に対処するため、クエリ語の意味的に正確な派生形を生成すること。
• 一般的なフランス語辞書からの語彙的ガイドラインを用いて、誤った派生語をフィルタリングすることで、派生拡張におけるノイズを低減すること。
• 構文的・意味的整合性を保ちつつ、派生的言い換えを質問応答パイプラインに統合すること。
• 派生的言い換えがQAシステムの性能に与える影響を評価すること、特に標準的な拡張手法と比較しての評価。
• 派生的言い換えと類義語言い換えの相乗効果を検討し、カバー範囲と精度の向上を図ること。

提案手法

• 確率的語彙的派生ツールが、語の原形に学習済み接尾語を適用することで、候補となる派生語を生成する。
• Dubois辞書からの派生ガイドラインを用いて、意味的に誤った派生語を除外し、高い精度を確保する。
• 構文解析器と意味素の識別システムが依存関係構造を抽出し、文の意味を形式的に表現する。
• 派生パターンを依存関係構造に適用することで、完全な生成を伴わずに言い換えられた表現を模擬する。
• 言い換えられた構造を用いて、質問応答システムにおけるクエリ拡張を実施し、テキスト内の答え表現とのマッチングを可能にする。
• TREC 8 QAトラックフレームワークを用いて評価を行い、派生的言い換えを適用した場合としない場合を比較する。

実験結果

リサーチクエスチョン

• RQ1 派生的言い換えは、精度を維持または向上させつつ、質問応答の性能を向上させることができるか？
• RQ2 辞書ベースのガイドラインを用いた派生語候補のフィルタリングは、制約のない派生と比較して、どれほどノイズを低減するか？
• RQ3 類義語言い換えと比較して、派生的言い換えはカバー範囲と精度の面でどのように異なるか？
• RQ4 派生的言い換えと類義語言い換えを組み合わせた場合、システム性能にどのような影響を与えるか？
• RQ5 深層処理を施したQAシステムに、派生的言い換えを効果的に統合できるか、結果の劣化を引き起こさないか？

主な発見

• 小規模なテストでは、派生的言い換えを適用した場合の平均スコアが0.367にとどまり、派生的言い換えなしのスコア0.767と比べて顕著に低いことが判明し、さらなる精錬の必要性が示された。
• 小規模テストにおける絶対的性能は低かったが、本手法は結果を劣化させなかった。これは、古典的な派生拡張とは異なり、精度を損なう傾向がなかったことを示している。
• 派生的言い換えと類義語言い換えを組み合わせた結果、従来は回答が得られなかった19の質問に対して正しく回答することができ、性能向上の潜在的余地が10%あると示唆された。
• Dubois辞書からの派生ガイドラインの使用により、派生語の正確なフィルタリングが可能となり、誤検出の顕著な低減が達成された。
• 意味素の識別と構文的依存関係解析は、文の構造への派生パターンの正確な適用に不可欠であった。
• 動詞的語彙から名詞的語彙への派生指示の対称化により、非動詞的語形のカバー範囲が向上する可能性がある。