[論文レビュー] Does Order Matter? An Empirical Study on Generating Multiple Keyphrases as a Sequence

Rui Meng, Xingdi Yuan+4 more|arXiv (Cornell University)|Sep 9, 2019

Advanced Text Analysis Techniques参考文献 20被引用数 17

ひとこと要約

本稿は、逐序列ベースのキーフレーズ生成におけるフレーズ順序の影響を調査し、複数のキーフレーズを連結するための6つの戦略を提案する。『Appear-Ap』順序—入力文における最初の出現順に並べ替え、欠落しているフレーズを末尾に追加する—が最も優れた性能を示し、F1@10スコアは0.347を記録した。また、ビーム幅とモデルの複雑さが、訓練の安定性と抽象化能力において重要な要因であることが明らかになった。

ABSTRACT

Recently, concatenating multiple keyphrases as a target sequence has been proposed as a new learning paradigm for keyphrase generation. Existing studies concatenate target keyphrases in different orders but no study has examined the effects of ordering on models' behavior. In this paper, we propose several orderings for concatenation and inspect the important factors for training a successful keyphrase generation model. By running comprehensive comparisons, we observe one preferable ordering and summarize a number of empirical findings and challenges, which can shed light on future research on this line of work.

研究の動機と目的

• 逐序列ベースのキーフレーズ生成における、複数のキーフレーズを連結する際の順序戦略がモデル性能に与える影響を調査すること。
• One2Seqキーフレーズ生成におけるモデルの一般化能力と訓練の安定性を向上させる最適なフレーズ順序を同定すること。
• ビーム幅とモデルの複雑さが、存在するキーフレーズと存在しないキーフレーズの両方の生成に与える影響を評価すること。
• 逐序列ベースのキーフレーズ生成モデルにおける抽出能力と抽象化能力のトレードオフを検討すること。
• キーフレーズ生成における低多様性と高再現性という課題に、ビームサーチデコードの観点から対処すること。

提案手法

• ランダム、ノーソート、長さ、アルファベット順、Appear-Pre、Appear-Apの6つのフレーズ順序戦略を提案し、キーフレーズを1つのシーケンスに連結する。
• ポインタジェネレータとカバレージ機構を備えたseq2seqモデルを用いて学習とデコードを実施する。
• ビーム幅を10、25、50と変化させ、1つのシーケンス出力から複数の候補キーフレーズを生成するビームサーチを実装する。
• F1@5とF1@10スコアを用いて、異なる順序戦略におけるモデル性能を比較する。
• 存在しないキーフレーズに対する抽象化能力を、Recall@10とRecall@50スコアで評価し、特に大規模モデルを用いて検証する。
• BaseRNN、BigRNN、Transformerの3つのモデルアーキテクチャを用いて、モデルの複雑さが性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットシーケンスにおけるキーフレーズの順序が、逐序列ベースのキーフレーズ生成におけるモデル性能に顕著な影響を与えるか？
• RQ2 ランダム、ノーソート、長さ、アルファベット順、Appear-Pre、Appear-Apのうち、どのフレーズ順序戦略が、存在するキーフレーズ生成におけるF1スコアを最も高めるか？
• RQ3 ビーム幅は、さまざまな順序戦略におけるOne2Seqモデルの安定性と性能にどのように影響するか？
• RQ4 モデルの複雑さ（例：BigRNN、Transformer）を高めることで、存在するキーフレーズと存在しないキーフレーズの両方の生成性能が向上するか？
• RQ5 連結されたフレーズを用いた学習によって、モデルの抽象化能力が抽出能力よりもどの程度向上するか？

主な発見

• 入力文における最初の出現順に並べ替え、欠落しているフレーズを末尾に追加する『Appear-Ap』順序が、ビーム幅50の条件下で最高のF1@10スコア0.347を達成した。
• ビーム幅50は、すべての順序戦略において一貫して性能を向上させ、性能の差を縮小し、特にF1@10において安定性を向上させた。
• BaseRNNモデルと比較して、モデルの複雑さ（例：BigRNN、Transformer）は、存在するキーフレーズ生成の性能を顕著に向上させなかった。
• 連結されたフレーズを用いて学習したOne2Seqモデルは、強い抽出能力を示したが、抽象化能力は弱く、ビーム幅50でも存在しないキーフレーズのRecall@50が0.07未満にとどまった。
• Transformerモデルは、全モデルの中で最高のRecall@10（0.070）とRecall@50（0.071）を記録し、F1スコアが低いにもかかわらず、より優れた抽象化能力を示した。
• ビームサイズ10で過剰生成を行うと、一意なキーフレーズが20％未満にとどまり、逐序列ベースのキーフレーズ生成におけるデコードの多様性の課題が顕著に現れた。