[論文レビュー] Misleading Failures of Partial-input Baselines

Shi Feng, Eric Wallace+1 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 24被引用数 6

ひとこと要約

この論文は、自然言語処理分野で一般的に使われる部分入力ベースラインが、完全な入力にのみ存在する単純で利用可能なパターンを検出できない可能性があることを示している。著者らは、仮説＋1単語モデルが、もともとはこのような短絡的アプローチに脆弱でないと考えられていた15%の「難易度の高い」SNLI例題を解けることを示し、データセット検証における重大な盲点を明らかにした。

ABSTRACT

Recent work establishes dataset difficulty and removes annotation artifacts via partial-input baselines (e.g., hypothesis-only models for SNLI or question-only models for VQA). When a partial-input baseline gets high accuracy, a dataset is cheatable. However, the converse is not necessarily true: the failure of a partial-input baseline does not mean a dataset is free of artifacts. To illustrate this, we first design artificial datasets which contain trivial patterns in the full input that are undetectable by any partial-input model. Next, we identify such artifacts in the SNLI dataset - a hypothesis-only model augmented with trivial patterns in the premise can solve 15% of the examples that are previously considered "hard". Our work provides a caveat for the use of partial-input baselines for dataset verification and creation.

研究の動機と目的

• 部分入力ベースラインが失敗することから、データセットにアーティファクトがないと仮定することの誤りを挑戦すること。
• 部分入力にのみ存在する単純で利用可能なパターンが、部分入力モデルでは検出できないことの実証を示すこと。
• 実世界のデータセット（例：SNLI）にこのようなアーティファクトが存在し、部分入力検証では検出されないことを実証的証拠で示すこと。
• NLPコミュニティが部分入力ベースラインをデータセット品質と一般化性能の決定的テストとして過剰に信頼することへの警告を発すること。
• データセット分析および作成において、完全な入力パターンを考慮するより包括的な検証手法の推進を提言すること。

提案手法

• 部分入力モデルでは検出できない、完全な入力にのみ存在する人工的で明確なパターンを備えた合成データセットを構築する。
• 仮説のみのモデルが失敗する例題において、前提に存在する単純なパターンが解けるかどうかをテストするため、仮説＋1単語モデルを設計する。
• 表現空間におけるk近傍法を用いて、完全な入力モデルが学習した具体的なアーティファクトを解釈および同定する。
• 実際のデータセット（例：SNLI）に対して部分入力ベースラインを適用し、モデルのパフォーマンスを比較し、完全な入力パターンが成功をもたらすケースを特定する。
• 部分入力ベースラインの失敗モードを分析することで、データセットアーティファクトを検出する際の限界を露呈する。
• 敵対的評価および解釈技術を用いて、モデルの頑健性を検証し、モデルの脆さを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 部分入力ベースラインは、完全な入力にのみ存在するアーティファクトを検出できないことがあるか？
• RQ2 完全な入力にのみ存在するパターンが、部分入力ベースラインが「難易度の高い」とみなす例題をどれほど解けるようにするのか？
• RQ3 このような完全な入力アーティファクトが存在し、標準的な部分入力検証では検出されない実世界のNLPデータセットは存在するか？
• RQ4 k近傍法のような解釈手法は、完全な入力設定におけるモデルが利用する具体的なパターンをどのように特定するのだろうか？
• RQ5 これらの発見は、NLPにおけるデータセット作成およびモデル評価にどのような意味を持つのか？

主な発見

• 部分入力ベースラインは、完全な入力にのみ存在する単純で利用可能なパターンを検出できない可能性があり、その結果、データセットの難易度に関する誤った結論を導くことがある。
• SNLIデータセットにおいて、仮説＋1単語モデルは、もともとは「難易度の高い」と考えられていた15%の例題を、前提に存在する完全な入力パターンのおかげで解ける。
• 部分入力モデルでは検出できない特定の完全な入力アーティファクトを示すために、人工的データセットを構築した。これにより、このような失敗の理論的可能성을裏付けた。
• k近傍法による解釈により、完全な入力モデルが前提に存在する単純で誤った相関関係（スルーレイテンス）を学習していることが明らかになったが、これは仮説のみのモデルでは検出できない。
• 部分入力ベースラインが失敗しても、アーティファクトが存在しないとは限らない。その理由は、アーティファクトが制限された入力モodalでは利用できないだけである。
• データセット作成において部分入力ベースラインを敵対的フィルタとして使用すると、そのベースラインを欺く程度の難易度のデータセットができあがるが、真にあらゆる短絡的アプローチに対して頑健ではない。