[論文レビュー] Genetic Algorithms For Extractive Summarization

William Chen, Kensal Ramos+2 more|arXiv (Cornell University)|May 5, 2021

Topic Modeling参考文献 11被引用数 4

ひとこと要約

この論文は、深層学習のデータおよび計算要求を回避するために、重要文を特定するための最適な語の重みを学習する遺伝的アルゴリズム（GA）ベースの抽出的要約手法を提案している。GAは語彙内の語の重みを最適化することで文の重要度スコアを進化させ、最小限のハイパーパrameterチューニングで競争力のあるROUGEスコア（トレーニングセットで最大28.6）を達成しており、大規模でノイズの多い語彙に対しても一般化能力を示している。

ABSTRACT

Most current work in NLP utilizes deep learning, which requires a lot of training data and computational power. This paper investigates the strengths of Genetic Algorithms (GAs) for extractive summarization, as we hypothesized that GAs could construct more efficient solutions for the summarization task due to their relative customizability relative to deep learning models. This is done by building a vocabulary set, the words of which are represented as an array of weights, and optimizing those set of weights with the GA. These weights can be used to build an overall weighting of a sentence, which can then be passed to some threshold for extraction. Our results showed that the GA was able to learn a weight representation that could filter out excessive vocabulary and thus dictate sentence importance based on common English words.

研究の動機と目的

• 抽出的要約における深層学習の代替手段として、軽量でカスタマイズ可能な遺伝的アルゴリズムの有効性を検討すること。
• 文レベルのヒューリスティクスに依存せずに、一般化可能な文の重要度特徴をGAが学習できるかどうかを調査すること。
• ROUGEスコアを用いて、トレーニングデータサイズと語彙サイズが要約性能に与える影響を評価すること。
• GAが大規模な語彙における不要な語やノイズを効果的にフィルタリングし、意味的に重要な語の重み表現に収束できるかどうかを検証すること。
• GAが低消費電力で効率的な要約システムに適しているかどうかを評価すること。

提案手法

• 語彙内の各語を0〜1の重みを持つ遺伝子として表現し、GA集団内の各個体に対して染色体を形成する。
• 文の重要度は、文に含まれるすべての語の重みの平均値として計算され、未知語は重み0として扱われる。
• 固定しきい値（0.6）を適用し、平均重みがこれを上回る文を選択することで要約を構築する。
• GAは複数世代にわたり、選択、交差、突然変異（重みを0に設定することで遺伝子の削除）という標準的な操作を用いて適合度を最適化する。
• 適合度は、トレーニングおよびテストデータセットにおける参照要約とのROUGE-1 F1スコアを用いて評価される。
• 語彙はトレーニングデータから構築され、実験ではトレーニングデータサイズ（50, 100）と語彙サイズ（50, 1,000, 90,000）を変化させる。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムは、抽出的要約において、重要な文を効果的に特定する意味のある語の重みを学習できるか？
• RQ2 トレーニングデータサイズと語彙サイズは、GAベースの要約モデルの性能にどのように影響するか？
• RQ3 語彙サイズがトレーニングデータサイズを上回る場合を含め、GAが異なるデータ分布に一般化できるか？
• RQ4 大規模な語彙において、GAは関係のない語やノイズを効果的にフィルタリングし、意味的に重要な語に注目できるか？
• RQ5 従来の手法と比較して、GAは文レベルの手作業によるヒューリスティクスへの依存度をどの程度低減できるか？

主な発見

• 語彙が90,000語のフル語彙を用いて100件のサンプルで学習した最良のモデルは、トレーニングセットでROUGE-1スコア28.6を達成した。
• 50件のサンプルから構築された語彙を用いて50件のサンプルで学習したモデルは、テストセットでROUGEスコア26.26を達成し、より大きな語彙を用いた100件のサンプルで学習したモデルを上回った。
• GAは急速に収束し、100の集団サイズと325,000語の語彙を用いても、35世代以内に局所最適解に到達した。
• 広大な解空間にかかわらず、GAはノイズを効果的にフィルタリングし、要約に有用な一般的な英語語彙を優先して学習した。
• 語彙サイズの増加に伴いROUGEスコアの向上は最小限にとどまり、GAが語彙の規模に関係なく、最も顕著な語に注目する学習を効果的に行っていることを示している。
• 100件のサンプルで90,000語の語彙を用いて学習したモデルは、テストでROUGEスコア23.59を達成し、限られたデータからでも優れた一般化性能を示した。