[論文レビュー] Joint Learning of Answer Selection and Answer Summary Generation in Community Question Answering

Yang Deng, Wai Lam+5 more|arXiv (Cornell University)|Nov 22, 2019

Topic Modeling参考文献 45被引用数 4

ひとこと要約

本稿では、コミュニティ質問応答（CQA）における回答選択と要約生成の両方を同時に実行する共同学習フレームワーク、ASASを提案する。質問と回答の相関関係を活用して要約生成をガイドし、要約を用いて長大な回答からのノイズを低減することで、両タスクで最先端の性能を達成し、新しい大規模データセットであるWikiHowQAを用いて低リソースCQA設定への強力な転送性を示した。

ABSTRACT

Community question answering (CQA) gains increasing popularity in both academy and industry recently. However, the redundancy and lengthiness issues of crowdsourced answers limit the performance of answer selection and lead to reading difficulties and misunderstandings for community users. To solve these problems, we tackle the tasks of answer selection and answer summary generation in CQA with a novel joint learning model. Specifically, we design a question-driven pointer-generator network, which exploits the correlation information between question-answer pairs to aid in attending the essential information when generating answer summaries. Meanwhile, we leverage the answer summaries to alleviate noise in original lengthy answers when ranking the relevancy degrees of question-answer pairs. In addition, we construct a new large-scale CQA corpus, WikiHowQA, which contains long answers for answer selection as well as reference summaries for answer summarization. The experimental results show that the joint learning method can effectively address the answer redundancy issue in CQA and achieves state-of-the-art results on both answer selection and text summarization tasks. Furthermore, the proposed model is shown to be of great transferring ability and applicability for resource-poor CQA tasks, which lack of reference answer summaries.

研究の動機と目的

• CQAにおけるクラウドソーシングによる回答の冗長性と長大さが、正確な回答選択とユーザーの理解を妨える問題に対処する。
• 質問駆動の文脈的情報を統合することで、より関連性が高く、簡潔な要約を生成する要約生成の改善を図る。
• 回答選択の段階で長大な回答からのノイズを低減するため、生成された要約を関連性の代理指標として用いる。
• 参照要約が存在しないリソースが乏しいCQAタスクに対して、効果的な転移学習を可能にする。
• 回答選択と要約生成の両タスクをサポートする新しい大規模CQAデータセット、WikiHowQAを構築する。

提案手法

• 質問-回答ペアのアテンションを用いて要約生成をガイドする、質問駆動のポインタジェネレーターネットワークを提案する。
• 回答要約を用いて質問-回答ペアの関連性スコアリングを改善することで、長大な回答からのノイズを低減する共同学習フレームワークを設計する。
• デュアルストリーム機構を採用：一方は質問に注意を向けるアテンションを用いて要約を生成し、もう一方は要約の関連性に基づいて回答をランク付けする。
• 事前学習モデルをWikiHowQAで微調整し、参照要約が存在しない低リソースCQAドメインに適応する転移学習戦略を導入する。
• 回答選択の正確性と要約品質の両方を同時に最適化する新しい損失関数を活用する。
• 長大な回答と人間がアノテートした参照要約を備えた、訓練および評価に用いるためのWikiHowQAデータセットを活用する。

実験結果

リサーチクエスチョン

• RQ1 回答選択と要約生成の共同学習は、独立したモデルと比較して両タスクの性能向上を図れるか？
• RQ2 質問に注意を向ける要約生成は、回答選択の段階で長大な回答からのノイズ低減にどの程度効果的か？
• RQ3 WikiHowQAのような大規模CQAデータセットで事前学習したモデルは、参照要約が存在しない低リソースCQAドメインにどの程度転送可能か？
• RQ4 生成された要約を関連性の代理指標として用いることで、長大な回答における回答選択の正確性は向上するか？
• RQ5 要約の質と関連性の観点から、抽出的および生成的要約ベースラインと比較して、共同モデルはどの程度優れているか？

主な発見

• 提案されたASASモデルは、回答選択タスクで最先端の性能を達成し、WikiHowQAデータセット上で既存のSOTA手法を上回った。
• WikiHowQAベンチマークにおいて、ASASは旅行ドメインで54.8%の回答選択正確度を達成し、最良のベースライン（COALA）の52.9%を上回った。
• 定性的な例から、抽出的（例：NeuralSum）および生成的（例：PGN）ベースラインと比較して、ASASはより正確で簡潔な要約を生成した。
• 低リソース設定では、微調整を施したASASモデル（ASAS/Yes）が旅行ドメインで56.5%の正確度を達成し、最良のベースライン（COALA）の52.7%を3.8ポイント上回った。
• 微調整なしでも、ASAS（Finetune/No）は全ドメインで競争力のある結果を示し、強力なゼロショット転送性を示した。
• 共同学習フレームワークにより、回答の冗長性の影響が顕著に低減され、選択正確度と要約品質の両方が同時に向上した。