[論文レビュー] Siamese Neural Networks with Random Forest for detecting duplicate question pairs

Ameya Godbole, Aman Dalmia+1 more|arXiv (Cornell University)|Jan 22, 2018

Topic Modeling参考文献 7被引用数 9

ひとこと要約

この論文では、ハンドクラフトド特徴量とランダムフォレスト分類器を組み合わせたシamese双方向GRUモデルを提案し、重複する質問ペアの検出を目的としている。GloVe埋め込み、双方向GRU符号化、アンサンブル学習を活用することで、交差エントロピー損失が0.24365にまで低下し、Quora Question Pairs Kaggleコンペティションで上位24%の成績を達成した。

ABSTRACT

Determining whether two given questions are semantically similar is a fairly challenging task given the different structures and forms that the questions can take. In this paper, we use Gated Recurrent Units(GRU) in combination with other highly used machine learning algorithms like Random Forest, Adaboost and SVM for the similarity prediction task on a dataset released by Quora, consisting of about 400k labeled question pairs. We got the best result by using the Siamese adaptation of a Bidirectional GRU with a Random Forest classifier, which landed us among the top 24% in the competition Quora Question Pairs hosted on Kaggle.

研究の動機と目的

• 構造的・語彙的変動があるにもかかわらず、質問ペア間の意味的類似度を向上させるために、ディープラーニングと従来の機械学習分類器を組み合わせること。
• 構造的・語彙的変動があるにもかかわらず、意味的に類似した質問を検出する課題に対処すること。
• 文脈的・意味的表現を捉えることで、語の類似度に依存する測定法を超えて性能を向上させること。
• ニューラルネットワークの出力とハンドクラフトド特徴量を組み合わせるアンサンブル手法の有効性を検証すること。
• ハイブリッドディープラーニングとテーブル型機械学習のアプローチにより、Quora Question Pairsデータセットで最先端の性能を達成すること。

提案手法

• ペア内の両方の質問を処理するため、重みを共有するシameseアーキテクチャと双方向GRUを用い、文脈的な文の表現を学習する。
• 語の埋め込みは、意味を捉えるために50次元の事前学習済みGloVeベクトルで初期化される。
• 最終的な文レベルの表現は、GRU隠れ状態と語レベルの特徴量を連結し、ドロップアウトを含む全結合ネットワークを通過させることで形成される。
• 3つの追加のハンドクラフトド特徴量を抽出する：語の重複、TF-IDF加重語重複、共有重複回数。
• シamese GRUの出力と3つの特徴量を二次分類器の入力として用い、ランダムフォレストが最も優れた性能を示した。
• モデル学習にはAdam最適化法とバイナリクロスエントロピー損失を用い、ハイパーパramータは開発セット上でチューニングされた。

実験結果

リサーチクエスチョン

• RQ1 構造的・長さの異なる質問ペア間で、シamese双方向GRUモデルは意味的類似度を効果的に学習できるか？
• RQ2 ニューラルネットワークの埋め込みとハンドクラフトド特徴量を組み合わせることで、重複検出性能がどのように向上するか？
• RQ3 二次分類器としてのランダムフォレスト、SVM、AdaBoostのうち、どの手法が類似度スコアと補助特徴量を最も効果的に活用できるか？
• RQ4 データ拡張は、重複する質問検出の文脈において、一般化性能をどの程度向上させるか？
• RQ5 GRU類似度スコアと複数の特徴量をアンサンブルすることで、ニューラルモデル単体よりも性能が向上するか？

主な発見

• ランダムフォレスト分類器を用いたシamese双方向GRUは、交差エントロピー損失0.24365を達成し、SVMやAdaBoostを上回った。
• 最大深さ正則化を施したランダムフォレスト分類器が最も高い性能を示し、結合特徴量に対する過学習に対して強いことが示された。
• データ拡張により学習サンプルが3倍に増加し、正例と負例の比率が1:1にバランスされ、モデルの一般化性能が向上した。
• 共有重複回数特徴量の導入は、重複の強力な指標として機能し、モデルの信頼性を顕著に向上させた。
• モデルはQuora Question Pairsコンペティションの上位24%に位置づけられ、アンサンブルアプローチの有効性が裏付けられた。
• 最終全結合層でのドロップアウト正則化は、ランダムフォレストと組み合わせると性能が低下した。これは過学習またはアンサンブルとの非最適な相互作用を示唆している。