[論文レビュー] Rissanen Data Analysis: Examining Dataset Characteristics via Description Length

Ethan Perez, Douwe Kiela+1 more|arXiv (Cornell University)|Mar 5, 2021

Natural Language Processing Techniques被引用数 12

ひとこと要約

この論文は、最小記述長（MDL）を用いて、特定のデータ機能——例えば、部分質問の生成、根拠の提示、語順——がデータセットラベルのモデリングの複雑さを軽減するかどうかを理論的根拠に基づいて評価する、Rissanenデータ分析（RDA）を導入する。RDAは、こうした機能が実際に記述長を短縮することを示しており、モデルの性能を説明する内在的なデータセット特性を明らかにする。この手法は、HotpotQA や e-SNLI といったNLPベンチマークにおいて応用可能である。

ABSTRACT

We introduce a method to determine if a certain capability helps to achieve an accurate model of given data. We view labels as being generated from the inputs by a program composed of subroutines with different capabilities, and we posit that a subroutine is useful if and only if the minimal program that invokes it is shorter than the one that does not. Since minimum program length is uncomputable, we instead estimate the labels' minimum description length (MDL) as a proxy, giving us a theoretically-grounded method for analyzing dataset characteristics. We call the method Rissanen Data Analysis (RDA) after the father of MDL, and we showcase its applicability on a wide variety of settings in NLP, ranging from evaluating the utility of generating subquestions before answering a question, to analyzing the value of rationales and explanations, to investigating the importance of different parts of speech, and uncovering dataset gender bias.

研究の動機と目的

• 特定のデータ機能がモデルの単純さと正確性を向上させるかどうかを理論的根拠に基づいて評価するための手法を開発すること。
• 保留データ上のモデル性能や分布のずれに依存する従来のデータ分析手法の限界に対処すること。
• 入力からラベルの最小記述長を推定することで、データセットの特性を直接的に探査すること。
• NLPデータセットにおける部分質問の生成、説明、語順といった機能の内在的価値を評価すること。
• 記述長の分析を通じて、隠れたデータセットバイアスや構造的依存関係を解明すること。

提案手法

• RDAは、モデル性能を入力に対してラベルの記述長を最小化することとして定式化し、コルモゴロフ複雑度の代理としてMDLを用いる。
• ブロック単位の逐次符号化を用いてMDLを推定し、入力からラベルを生成する最短プログラムの上界を提供する。
• 特定の機能（例：部分質問、語順）へのアクセスがある場合とない場合のMDLを比較することで、その機能の有用性を評価する。
• 特定の機能の導入によって推定MDLが短縮される場合、その機能は有用であるとみなす。
• 相対的なMDL値を比較可能にするために、比較の全過程で同一の学習アルゴリズムを用いる。
• 入力変換の下でのMDLの変化を測定することで、質問応答、文書帰属、言語的妥当性など多様なNLPタスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 部分質問の生成は、質問応答データセットにおけるモデル単純化に有用な機能であるか？
• RQ2 説明や根拠は、文書帰属タスクにおけるラベルの記述長を短縮するか？
• RQ3 語順は、さまざまなNLPタスクにおいてラベル列の圧縮にどの程度寄与しているか？
• RQ4 品詞の異なる部分は、ラベル列のMDLをどの程度低減するか？
• RQ5 データセットは本質的に性別バイアスを含んでおり、MDLはこうしたバイアスを明らかにできるか？

主な発見

• HotpotQAでは、部分質問の生成がMDLを顕著に短縮し、その内在的有用性が確認された。これは、従来の性能ベースの評価がその価値を低く見積もっていた可能性を示唆する。
• e-SNLIでは、根拠と説明の両方がMDLを短縮するが、根拠のほうがより効果的であり、ラベル予測の単純化におけるその強力な役割が示された。
• 語順はすべてのタスクでMDLを短縮する：MNLIでは、ラベル圧縮率をベースラインの75％から50％にまで低下させ、CoLAでは圧縮が発生するには語順が不可欠であることが判明した。
• RDAは、特定の品詞がMDLの低減において他の品詞よりも重要であることを明らかにした。機能語と内容語の貢献度はタスクによって異なる。
• この手法により、性別バイアスがデータセット構造に埋め込まれており、性別語を除去するとMDLが上昇することから、バイアスがデータの圧縮可能性の一部であることが判明した。
• RDAは、モデル固有の行動に依存しない一貫性のある、データセット複雑度の内在的測定を提供し、モデルのプローブに代わる堅牢な代替手段を提供する。