[論文レビュー] Learning to Rank Questions for Community Question Answering with Ranking SVM

Minh-Tien Nguyen, Viet-Anh Phan+2 more|arXiv (Cornell University)|Aug 15, 2016

Expert finding and Q&A systems参考文献 10被引用数 4

ひとこと要約

本論文では、コミュニティQA（cQA）システムにおける質問の再順序付けを目的とした、Ranking SVMを用いたラーニング・トゥ・ランク（LTR）アプローチを提案する。サブトレーニングセット上でハイパーパrameter Cをグリッドサーチにより最適化することで、ECML 2016 Discovery Challengeで上位3位を達成し、Ranking SVMが開発セットおよびテストセットの両方で高いMAPスコアを達成するなど、cQAの関連性順序付けに有効であることが示された。

ABSTRACT

This paper presents our method to retrieve relevant queries given a new question in the context of Discovery Challenge: Learning to Re-Ranking Questions for Community Question Answering competition. In order to do that, a set of learning to rank methods was investigated to select an appropriate method. The selected method was optimized on training data by using a search strategy. After optimizing, the method was applied to development and test set. Results from the competition indicate that the performance of our method outperforms almost participants and show that Ranking SVM is efficient for retrieving relevant queries in community question answering.

研究の動機と目的

• 新規ユーザーのクエリに最も関連性の高い過去に投稿された質問を再順序付けする、コミュニティQA（cQA）システムにおける課題に対処する。
• cQAリtrievalに適した、候補となるアルゴリズム群の中から最も効果的なラーニング・トゥ・ランク（LTR）手法を評価・選定する。
• トレーニングデータ上で性能を最大化するため、系統的なサーチ戦略を用いて選定したLTRモデルのハイパーパrameterを最適化する。
• 最適化されたモデルを開発セットおよびテストセットに適用し、実世界のコンテスト環境における汎化性能と競争力のあるパフォーマンスを評価する。
• 特に意味的類似性と順序付けの関連性を扱う際に、質問再順序付けにおけるRanking SVMの有効性を示す。

提案手法

• ハイパーパramータチューニング中のモデル評価のため、元のトレーニングセットをサブトレーニング（217件の質問）とサブテスト（50件の質問）に2段階に分割した。
• サブテストセットでのパフォーマンスとロバスト性を考慮し、複数のLTRアルゴリズムを比較した結果、Ranking SVMを主なLTR手法として選定した。
• 線形カーネルにおける正則化パラメータCを、5から40まで5刻みで繰り返しテストするカスタムサーチアルゴリズムを用いて最適化した。
• ハイパーパラメータチューニング中は、最適なC値の選定を支援するため、主評価指標として平均平均精度（MAP）を用いた。
• 最良のC値（C=15）を用いて、全トレーニングセットで最終モデルを学習し、コンテスト評価のため開発セットおよびテストセットに適用した。
• 質問ペairの順序付けに適した表現として、TF-IDF、コサイン類似度、語彙的オーバーラップ特徴量などの標準的な特徴量工学技術を適用した。

実験結果

リサーチクエスチョン

• RQ1 コミュニティQAシステムにおける質問再順序付けに最適なラーニング・トゥ・ランクアルゴリズムは何か？
• RQ2 選定したLTRモデルのハイパーパラメータを、未知のデータ上でパフォーマンスを最大化するように最適化する方法は？
• RQ3 実世界のcQAコンテスト環境において、Ranking SVMは開発セットおよびテストセットに十分に一般化できるか？
• RQ4 最適化されたモデルのパフォーマンスは、ベースラインおよびECML 2016 Discovery Challengeに参加した他のチームと比較してどうなるか？
• RQ5 特徴量工学とカーネル選択は、最終的な順序付けモデルの有効性にどのような役割を果たすか？

主な発見

• 最適化されたRanking SVMモデルは、テストセットでMAPスコア0.7603を達成し、ECML 2016 Discovery Challengeで2位を獲得した。
• 線形カーネルの最適なハイパーパラメータはC=15であり、チューニングプロセス中にMAPパフォーマンスを最大化した。
• ベースラインシステム（MAP=0.739）および60以上の他の参加チームを上回るパフォーマンスを示した。
• 汎化性能が強く、開発セットでは安定した3位（MAP=0.7460）、テストセットでは2位を達成した。
• C値が15を超えた場合、MAPスコアが低下する傾向にあり、最適範囲を超えた過学習のリスクが示された。
• 結果から、適切なハイパーパラメータチューニングを組み合わせた場合、Ranking SVMはcQAにおける質問再順序付けに効率的かつ効果的な手法であると確認された。