[論文レビュー] FrugalScore: Learning Cheaper, Lighter and Faster Evaluation Metricsfor Automatic Text Generation

Moussa Kamal Eddine, Guokan Shang+2 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling参考文献 45被引用数 4

ひとこと要約

FrugalScoreは、BERTScore や MoverScore などの高価な事前学習言語モデルベースのメトリクスを、コンパクトなモデルに蒸留することで、軽量で高速かつ正確な自動テキスト生成評価メトリクスを学習する手法を提案する。元のメトリクスの96.8%の性能を維持しながら、パラメータ数を35倍、推論時間を24倍削減し、リソース制約のあるユーザーにとっても高品質な評価を可能にする。

ABSTRACT

Fast and reliable evaluation metrics are key to R&D progress. While traditional natural language generation metrics are fast, they are not very reliable. Conversely, new metrics based on large pretrained language models are much more reliable, but require significant computational resources. In this paper, we propose FrugalScore, an approach to learn a fixed, low cost version of any expensive NLG metric, while retaining most of its original performance. Experiments with BERTScore and MoverScore on summarization and translation show that FrugalScore is on par with the original metrics (and sometimes better), while having several orders of magnitude less parameters and running several times faster. On average over all learned metrics, tasks, and variants, FrugalScore retains 96.8% of the performance, runs 24 times faster, and has 35 times less parameters than the original metrics. We make our trained metrics publicly available, to benefit the entire NLP community and in particular researchers and practitioners with limited resources.

研究の動機と目的

• 大規模事前学習言語モデルに基づく最先端のNLG評価メトリクスの高い計算コストとアクセス困難さに対処すること。
• BERTScore や MoverScore のような高価なメトリクスの代替として、固定で低コストな代替手段を提供し、人的判断と高い相関を維持すること。
• 計算リソースが限られた研究者や実務家が、信頼性が高く、高速で軽量な評価メトリクスを利用できるようにすること。
• モデルサイズに依存しない評価コストを実現するため、類似度関数を一切使用せず、1回の順伝搬のみで推論が可能なコンパクトなモデルを訓練すること。
• 効率的なファインチューニングとデータ選別を通じて、蒸留メトリクスが元のメトリクスを上回る場合があることを示すこと。

提案手法

• 合成データ、バックトランスレーション、実際のNLGデータセットなど、複数のソースから多様な文ペアをサンプリングする。
• 高い性能を示す基準メトリクス（例：BERTScore-BERT-Base）によるスコアを付与することで、教師あり学習用データセットを作成する。
• 標準的なファインチューニング（2e-5の初期学習率、バッチサイズ32）を用いて、小規模で軽量なモデル（例：BERT-Small）をそのデータセット上で訓練する。
• ファインチューニングの前に合成データで継続的事前学習を実施し、汎化性能と性能を向上させる。
• 推論時に類似度計算を回避し、1回の順伝搬のみで推論を実行することで、推論時間を著しく短縮する。
• 人的判断との相関を測定するために、TAC や WMT などの標準ベンチマークで蒸留モデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 高価で大規模な事前学習言語モデルベースのNLGメトリクスの性能を近似できる、コンパクトで軽量なモデルを訓練できるか？
• RQ2 合成データでの事前学習と人的にアノテートされたデータでのファインチューニングにより、蒸留メトリクスの汎化性能と正確性が向上するか？
• RQ3 特定の状況下では、蒸留メトリクスが元のメトリクスを上回る性能を達成できるか？
• RQ4 特にランダムなペアやバックトランスレーションで生成されたペアを含む多様なデータソースの統合が、最終的なメトリクス性能にどのように影響するか？
• RQ5 人的判断との相関を損なわずに、評価メトリクスの推論コストをどの程度まで削減できるか？

主な発見

• FrugalScoreは、人的判断とのピアソン相関係数で、全タスク・全モデル・全バリエーションの平均で、元のメトリクスの96.8%の性能を維持する。
• FrugalScoreモデルは、元のメトリクスと比較して24倍速く実行され、トレーニングループや大規模な実験での効率的利用が可能になる。
• 蒸留モデルは、元のメトリクスと比較して35倍もパラメータ数が少ないため、メモリと計算リソースの負荷を顕著に低減する。
• 合成データでの事前学習後にファインチューニングを行うことで、直接ファインチューニングを行う場合と比較して、TACデータ上で平均4.4ポイントのピアソン相関係数の向上が得られた。
• トレーニング時にランダムペアを除外すると性能が向上し、データ分布自体が意味的多様性を十分に捉えている場合、ネガティブ例は必要でないことが示唆された。
• バックトランスレーション戦略が性能向上に最も寄与しており、メトリクス学習におけるデータ拡張としての価値が顕著に浮き彫りになった。