[論文レビュー] MT-Adapted Datasheets for Datasets: Template and Repository

Marta R. Costa‐jussà, Roger Creus+6 more|arXiv (Cornell University)|May 27, 2020

Natural Language Processing Techniques参考文献 14被引用数 10

ひとこと要約

本論文は、機械翻訳（MT）データセットのための特化型データシートテンプレートと公開リポジトリを提案する。Gebruら（2018）の一般的なデータシートフレームワークを、MTデータ消費者に適した形に再設計したものである。データの出所、ライセンス、保守状況、法的持続可能性に関する的を絞った質問を導入し、EuroParlおよびNews-Commentaryの例としてデータシートの事例を提供することで、MT研究における透明性と再現可能性を高めることを目的としている。

ABSTRACT

In this report we are taking the standardized model proposed by Gebru et al. (2018) for documenting the popular machine translation datasets of the EuroParl (Koehn, 2005) and News-Commentary (Barrault et al., 2019). Within this documentation process, we have adapted the original datasheet to the particular case of data consumers within the Machine Translation area. We are also proposing a repository for collecting the adapted datasheets in this research area

研究の動機と目的

• 広く使われているMTデータセットに対して、標準化され、消費者中心の文書化が不足している問題に対処すること。
• Gebruら（2018）の一般的なデータシートフレームワークを、MT研究者および実務家に特化したニーズに適合させる。
• MTデータセットのデータシートを収集・共有する、コミュニティ主導のオープンリポジトリを構築し、透明性と再現性を向上させること。
• データ作成者自身が詳細な文書化を行っていない場合でも、データ消費者自身が使用するデータセットを文書化することを促進すること。
• 更新履歴、法的状態、寄稿ポリシーの追跡を通じて、長期的なデータセットの持続可能性を支援すること。

提案手法

• データ収集プロセスや前処理の詳細など、データ消費者にとって関係の薄い質問を除外することで、元のデータシートテンプレートを改変した。
• データの出典、初回リリース日、地理的使用制限、法的持続可能性に関する新たな質問を追加した。
• バージョンログ、自動更新、データの関連性チェックといった保守実務に関する質問を導入した。
• 誰がデータセットの改善に貢献できるかを明確にするため、寄稿ポリシーに関する質問を明示的に含めた。
• https://mtdatasheets.cs.upc.edu に、手作業によるレビューを実施する公開リポジトリを構築し、MTデータセットのデータシートをホスティング・キュレートした。
• WMT評価で広く使われている2つの主要なベンチマークであるEuroParl（v10）およびNews-Commentary（v15）の例としてデータシートを提供した。

実験結果

リサーチクエスチョン

• RQ1 データセットの文書化を、作成者ではなくデータ消費者に焦点を当てて、どのように機械翻訳分野で改善できるか。
• RQ2 MT研究者がバイアス、出所、長期的利用可能性を評価するために、最も重要な情報は何か。
• RQ3 透明性と使いやすさを向上させるために、元のデータシートテンプレートにどのような変更が必要か。
• RQ4 コミュニティ主導のリポジトリが、MTデータセットの文書化を効果的に収集・検証・保守するにはどうすればよいか。
• RQ5 ライセンス、地理的制限、法的変更が、MTデータセットの長期的持続可能性に果たす役割は何か。

主な発見

• 改変されたデータシートテンプレートには、出典の明記、初回リリース日、法的持続性といったMTデータ消費者に特化した12の新規質問が含まれている。
• https://mtdatasheets.cs.upc.edu に、コミュニティが寄稿した主要なMTデータセット用のデータシートがホスティングされており、品質保証のための手作業レビューが実施されている。
• WMT評価で広く使われている2つの主要なベンチマーク、EuroParl（v10）およびNews-Commentary（v15）の例としてデータシートが作成された。
• データ収集および前処理に関する質問は明確に除外されており、これは消費者がこれらの情報を把握していないことを認識している。
• バージョンログ、自動更新、データの関連性チェックといったデータセットの保守状況の追跡が、極めて重要であると強調された。
• フレームワークにより、法的リスク（例えば、使用権に影響を及ぼす可能性のある法律の変更）の評価がより良く可能になった。