[論文レビュー] CoTK: An Open-Source Toolkit for Fast Development and Fair Evaluation of Text Generation

Fei Huang, Dazhen Wan+6 more|arXiv (Cornell University)|Feb 3, 2020

Topic Modeling参考文献 35被引用数 5

ひとこと要約

CoTK は、データ処理、メトリクスの実装、実験設定の標準化を通じて、テキスト生成モデルの開発を加速し、公平で再現可能である評価を保証することを目的としたオープンソースの Python ツールキットです。独自にハッシュコードを用いて、異なる設定間での不正な比較を検出し、警告を発することで、モデルやデータセット間での信頼できるベンチマーク評価を可能にします。

ABSTRACT

In text generation evaluation, many practical issues, such as inconsistent experimental settings and metric implementations, are often ignored but lead to unfair evaluation and untenable conclusions. We present CoTK, an open-source toolkit aiming to support fast development and fair evaluation of text generation. In model development, CoTK helps handle the cumbersome issues, such as data processing, metric implementation, and reproduction. It standardizes the development steps and reduces human errors which may lead to inconsistent experimental settings. In model evaluation, CoTK provides implementation for many commonly used metrics and benchmark models across different experimental settings. As a unique feature, CoTK can signify when and which metric cannot be fairly compared. We demonstrate that it is convenient to use CoTK for model development and evaluation, particularly across different experimental settings.

研究の動機と目的

• テキスト生成評価における実験設定やメトリクス実装の不一致が、不公平な比較や再現不能な結果を引き起こすという広範な問題に対処すること。
• モデル開発中のデータ処理、メトリクス計算、環境追跡を自動化することで、研究者の負担を軽減すること。
• トークナイゼーションやボキャブラリーが異なるなどの不適合な設定でメトリクスが計算されている場合に、それらの比較が不適切であることを検出し、警告を発することにより、公平なモデル比較を可能にすること。
• コード、結果、実行環境の自動追跡により、共有されたモデル評価の再現性と発表を支援すること。
• 対話や要約を含む、複数のテキスト生成タスクにおいて、標準化されたデータローダー、ベンチマークモデル、メトリクスを提供すること。

提案手法

• ファイル読み込み、トークナイゼーション、ボキャブラリー構築、バッチパッケージングを、設定可能なオプションを備えた統一されたデータローダーを実装する。
• 一般的に使用されるテキスト生成メトリクス（BLEU、S-BLEU、F/B/H-BLEU、F/R-PPL、Distinct-2）を、一貫性があり文書化された実装で統合する。
• 各評価設定（例：トークナイゼーション手法、ボキャブラリーのサイズ）に対して一意のハッシュコードを生成し、比較が不適切である場合を検出する。
• PyTorch や TensorFlow などの主要なディープラーニングフレームワーク、および Texar や Fairseq などのモデルツールキットとの互換性をサポートすることで、柔軟なモデル実装を可能にする。
• コード、ハイパーパramータ、実行環境の追跡を自動化することで、発表と再現性を支援し、コミュニティによる結果共有を可能にする。
• 開発と比較を加速するため、事前に収集済みの公開データセットとベンチマークモデルを提供する。

実験結果

リサーチクエスチョン

• RQ1 テキスト生成評価における不一致した実験設定は、どのように不公平で再現不能な比較を引き起こすか？
• RQ2 標準化されたデータ処理とメトリクス実装は、どの程度モデル評価の再現性と公平性を向上させるか？
• RQ3 ハッシュベースのシステムは、ボキャブラリーまたはトークナイゼーション手法の違いによって、モデル評価結果が比較不能である場合を効果的に検出し、警告を発することができるか？
• RQ4 CoTK は、多様なテキスト生成タスクにおいて、モデル開発と評価の効率性と信頼性をどの程度向上させるか？
• RQ5 CoTK は、異なるモデルやデータセット間でのベンチマーク評価の整合性と透明性にどのような影響を与えるか？

主な発見

• CoTK は、不適合な設定を検出することで公平な比較を可能にします。例えば、GPT2-ft のパープレクサリティスコア（19.30*）は、異なるトークナイゼーションのため、比較不能であるとマークされていますが、他のメトリクス（BLEU、F/B/H-BLEU）はモデル間で比較可能です。
• EMNLP2017 データセットにおいて、Transformer モデルは PPL 37.04 を達成し、GRU（47.74）を上回りました。モデル間で一貫したメトリクス実装が行われていました。
• OpenSubtitles データセットでは、GPT2-ft が最高の BLEU スコア（1.30）と Distinct-2（0.156）を記録しましたが、その PPL（21.12*）は、異なるトークナイゼーションのため比較不能でした。
• 一貫したトークナイゼーションとメトリクス基準の使用により、BLEU、S-BLEU、F/B/H-BLEU、F/R-PPL の結果が、モデル間で直接比較可能になります。
• CoTK のハッシュコードシステムは、ボキャブラリーまたはトークナイゼーション手法の違いによって、メトリクス比較が不適切である場合を効果的に同定しています。
• このツールキットは、データ処理、評価、環境追跡における手作業の負担を顕著に軽減し、より速く信頼性の高いモデル開発と発表を可能にしています。