[論文レビュー] Cross-Language Question Re-Ranking

Giovanni Da San Martino, Salvatore Romeo+5 more|arXiv (Cornell University)|Oct 4, 2017

Topic Modeling参考文献 9被引用数 9

ひとこと要約

本稿では、アラビア語-英語のコミュニティフォーラムにおける、言語間質問再ランク付けのための言語間ツリー核と言語間ニューラル埋め込みを用いた手法を提案する。両手法とも翻訳に起因する性能低下を顕著に低減することが示された。特に、核ベースの手法が全設定でニューラルネットワークを上回り、単語同士の類似度を測る標準的な手法と比較して、ほぼ単言語性能に近づいた。

ABSTRACT

We study how to find relevant questions in community forums when the language of the new questions is different from that of the existing questions in the forum. In particular, we explore the Arabic-English language pair. We compare a kernel-based system with a feed-forward neural network in a scenario where a large parallel corpus is available for training a machine translation system, bilingual dictionaries, and cross-language word embeddings. We observe that both approaches degrade the performance of the system when working on the translated text, especially the kernel-based system, which depends heavily on a syntactic kernel. We address this issue using a cross-language tree kernel, which compares the original Arabic tree to the English trees of the related questions. We show that this kernel almost closes the performance gap with respect to the monolingual system. On the neural network side, we use the parallel corpus to train cross-language embeddings, which we then use to represent the Arabic input and the English related questions in the same space. The results also improve to close to those of the monolingual neural network. Overall, the kernel system shows a better performance compared to the neural network in all cases.

研究の動機と目的

• クエリと候補質問が異なる言語（特にアラビア語と英語）にある場合に、コミュニティフォーラムで関連する質問を見つけるという課題に対処すること。
• 利用可能な並列リソースを用いて、核ベースの手法とニューラルネットワーク手法のどちらが言語間質問再ランク付けをより効果的に処理できるかを評価すること。
• 再ランク付けの前に質問をターゲット言語に翻訳することによって引き起こされる性能低下を軽減すること。
• 異なる言語間で構文構造を比較する言語間ツリー核の有効性を検討すること。
• 並列コーパス上で学習された言語間単語埋め込みが、ニューラルネットワークベースの再ランク付けにどのように寄与するかを調査すること。

提案手法

• 本稿では、元のアラビア語質問の構文解析木と、翻訳された英語の候補質問の解析木を比較する言語間ツリー核を採用する。
• 核ベースのシステムは、このツリー核を用いてクエリと候補間の類似度を計算し、翻訳されたテキストでは失敗する標準的な構文核の代わりに使用する。
• ニューラルネットワークアプローチでは、大規模な並列コーパス上で言語間単語埋め込みを学習し、アラビア語と英語の単語を共有の意味的空間にマップする。
• ニューラルモデルは、この共有埋め込みを用いて、アラビア語クエリと英語の候補質問を共通のベクトル空間に表現する。
• 両システムは、アラビア語-英語フォーラムペアのベンチマークデータセットを用いて、言語間質問再ランク付けタスクで評価される。
• 性能は、言語間翻訳によって生じるギャップを測るため、単言語ベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 言語間ツリー核は、クエリと候補が異なる言語にある場合の質問再ランク付けにおける性能低下を軽減できるか？
• RQ2 核ベースのシステムとニューラルネットワークベースのシステムの間で、言語間質問再ランク付けにおける性能にどのような差があるか？
• RQ3 並列コーパス上で学習された言語間単語埋め込みは、リソースが限られた言語間設定において、ニューラルネットワークベースの再ランク付けをどの程度向上できるか？
• RQ4 異なる言語間で構文構造を比較することで、単に語のレベルの埋め込みに依存するのと比べて、より良い検索性能が得られるか？
• RQ5 翻訳と利用可能な並列リソースのみを用いて、言語間再ランク付けシステムは単言語性能にどの程度近づけるか？

主な発見

• 標準的な核ベース手法と比較して、言語間ツリー核は性能低下を顕著に低減し、単言語システムとの性能ギャップをほぼ埋め合わせた。
• ニューラルネットワークベースの手法でさえも、言語間埋め込みを用いているにもかかわらず、核ベースの手法が全評価設定で優れている。
• ニューラルネットワークアプローチは言語間埋め込みを用いることで改善したが、依然として核ベースのシステムに劣り、単語同士の類似度を測る標準的な手法と比較して、ほぼ単言語性能に近づいた。
• 標準的な核ベースシステムは、翻訳されたテキストに適用すると著しく性能が低下し、翻訳によって破壊される構文的構造に依存していることが原因である。
• 言語間ツリー核は、異なる言語間で構文的関係を効果的に保持でき、異なる言語の質問間の類似度計算をより正確に行える。
• 提案された両手法（ツリー核と言語間埋め込み）は、コミュニティフォーラムにおける言語間情報検索の向上に強く有望であることが示された。