[論文レビュー] Denoising Bodies to Titles: Retrieving Similar Questions with Recurrent Convolutional Models.

Tao Leí, Hrishikesh Joshi+5 more|arXiv (Cornell University)|Dec 17, 2015

Topic Modeling参考文献 20被引用数 5

ひとこと要約

本論文では、ゲート付き畳み込みを用いたハイブリッド再帰的・畳み込み型モデルを提案し、質問本文をその意味的タイトルにマッピングすることで、意味的に類似した質問の検索を可能にする。生のフォーラムデータに対してエンドツーエンドで事前学習し、限定的なアノテーションで微調整することで、情報検索（IR）ベースラインより10%、CNN や LSTM のような標準的なニューラルネットワークより6%の改善を達成した。

ABSTRACT

Question answering forums are rapidly growing in size with no automated ability to refer to and reuse existing answers. In this paper, we develop a methodology for finding semantically related questions. The task is difficult since 1) key pieces of information are often buried in extraneous detail in the question body and 2) available annotations are scarce and fragmented, driven by participants. We design a novel combination of recurrent and convolutional models (gated convolutions) to effectively map questions to their semantic representations. The models are pre-trained within an encoder-decoder framework (from body to title) on the basis of the entire raw corpus, and fine-tuned discriminatively from limited annotations. Our evaluation demonstrates that our model yields 10\% gain over a standard IR baseline, and 6\% over standard neural network architectures (including CNNs and LSTMs) trained analogously.

研究の動機と目的

• 増加する質問・回答フォーラムにおいて、ラベル付きデータが限られている状況でも意味的に類似した質問を効果的に検索する課題に対処すること。
• ノイズが多く、詳細な質問本文からキーメンタルな意味的コンテンツを抽出することが難しいという課題を克服すること。
• 生のフォーラムコーパスを用いた事前学習と、限定的なアノテーションを用いた微調整を組み合わせた手法を開発すること。
• 標準的な IR ベースラインおよびニューラルネットワークベースラインを上回る質問検索性能を向上させること。

提案手法

• ゲート付き畳み込みネットワークを用いて、質問本文を高次元の意味的表現に符号化する。
• エンコーダ・デコーダフレームワークを用いて、全本文からタイトルを再構築する形で事前学習を実施する。
• 再帰的層と畳み込み層を組み合わせることで、テキスト内の順序的および局所的パターンを両方効果的に捉える。
• 実際のフォーラム相互作用から得られるスパarsな断片的アノテーションを用いて、判別的に微調整を行う。
• 生データ上でエンドツーエンド学習を実施することで、適応前の段階で頑健な意味的表現を学習する。
• ゲート付き畳み込みにより、関連する入力パターンにのみ注目することで、特徴の学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、詳細な質問本文からそのコアとなる意味的タイトルを効果的にマッピングできるニューラルモデルは構築可能か？
• RQ2 限定的なアノテーションしか利用できない状況でも、生のフォーラムデータを用いた事前学習が検索性能をどの程度向上させるか？
• RQ3 ハイブリッド再帰的・畳み込み型アーキテクチャは、標準的な IR ベースラインおよびニューラルベースラインを上回る性能を示せるか？
• RQ4 スパースなアノテーションでの微調整は、リソースが限られた環境下でのモデルの一般化性能をどの程度向上させるか？

主な発見

• 提案手法は、標準的な情報検索（IR）ベースラインに比べて、類似質問の検索において相対的に10%の改善を達成した。
• 同じ条件下で学習された場合、CNN や LSTM といった標準的なニューラルネットワークアーキテクチャを 6% の検索精度向上で上回った。
• 全生コーパスを用いた事前学習が、ラベル付きデータが限られている状況でもモデル性能を顕著に向上させた。
• ゲート付き畳み込みとエンドツーエンド事前学習の組み合わせにより、効果的なノイズ除去と意味的表現学習が可能になった。
• スパースなアノテーションでの微調整により、実世界のフォーラムデータに適応可能なモデルの汎化性能が向上し、有意義な改善が得られた。