[論文レビュー] Evaluating representations by the complexity of learning low-loss predictors

WILLIAM F. WHITNEY, Min Jae Song+3 more|arXiv (Cornell University)|Sep 15, 2020

Machine Learning and Data Classification参考文献 39被引用数 10

ひとこと要約

本稿では、表現の質を評価するために、表現上に低損失予測子を学習する際の複雑さを評価することにより、新たに2つの指標—余剰記述長（SDL）とεサンプル複雑度（ε SC）—を提案する。従来の手法とは異なり、データセットサイズに依存しない。代わりに損失許容度に注目することで、データ量の変動に対して頑健であり、実用的導入要件とより整合性の高い評価が可能になる。

ABSTRACT

We consider the problem of evaluating representations of data for use in solving a downstream task. We propose to measure the quality of a representation by the complexity of learning a predictor on top of the representation that achieves low loss on a task of interest, and introduce two methods, surplus description length (SDL) and $\varepsilon$ sample complexity ($\varepsilon$SC). In contrast to prior methods, which measure the amount of information about the optimal predictor that is present in a specific amount of data, our methods measure the amount of information needed from the data to recover an approximation of the optimal predictor up to a specified tolerance. We present a framework to compare these methods based on plotting the validation loss versus evaluation dataset size (the "loss-data" curve). Existing measures, such as mutual information and minimum description length probes, correspond to slices and integrals along the data axis of the loss-data curve, while ours correspond to slices and integrals along the loss axis. We provide experiments on real data to compare the behavior of each of these methods over datasets of varying size along with a high performance open source library for representation evaluation at https://github.com/willwhitney/reprieve.

研究の動機と目的

• 機械学習における表現のための頑健で原理的根拠のある評価手法の欠如に取り組む。
• 検証精度（VA）、相互情報量（MI）、最小記述長（MDL）といった従来の指標の限界を特定する。これらは評価データセットサイズに敏感である。
• 『損失-データ量曲線』に基づく新しいフレームワークを提案し、評価の焦点をデータサイズから損失許容度にシフトする。
• 低損失予測子を学習する真の複雑さを反映する指標を開発し、実用的導入シナリオとより整合性をとる。
• 不十分なデータによる過早な判断を避ける、スケーラブルで解釈可能な表現評価手法を提供する。

提案手法

• 損失-データ量曲線を中央視覚的ツールとして導入し、検証損失を評価データセットサイズの関数としてプロットする。
• 余剰記述長（SDL）を、すべてのデータセットサイズにおいて、目標ε許容度を超える過剰損失の積分として定義する。
• εサンプル複雑度（ε SC）を、最適予測子の損失からε以内に収まるために必要な最小データセットサイズとして定義する。
• ブートストラップサンプリングと複数のネットワーク初期化を用いて、損失-データ量曲線の不確実性推定を実現する。
• 事前順次符号化（prequential coding）とMDLの原則を用いて記述長の各成分を計算し、情報理論的根拠を確保する。
• VA、MI、MDLと比較する際、損失軸に沿ったスライスや積分（データ軸ではなく）としてSDLとε SCを分析する。

実験結果

リサーチクエスチョン

• RQ1 従来の表現評価指標が評価データセットサイズに敏感であることが、その信頼性に与える影響は何か？
• RQ2 データセットサイズに依存せず、予測子の損失許容度に注目する表現評価指標を定義できるか？
• RQ3 低損失予測子を学習する複雑さと表現の質との関係は何か？
• RQ4 SDLとε SCは、VA、MI、MDLといった従来の指標と比較して、頑健性と解釈可能性の面でどのように異なるか？
• RQ5 SDLとε SCは、スケールの大きな実世界の表現学習タスクに実用的に応用可能か？

主な発見

• VAとMDLは評価データセットサイズに極めて敏感であり、表現の質に関する一貫性のない、あるいは誤った結論を導くことがある。
• 小さなデータセットで評価した場合、MDLは最も低いELMoレイヤーを最良と誤って評価するが、データセットサイズが増加するにつれてこの順位は逆転する。
• SDLとε SCはデータセットサイズの変化に対して頑健であり、一部の表現が低損失に到達するためには著しく多くのデータが必要であることを正しく特定している。
• 品詞分類タスクにおいて、ε SCはELMoレイヤー0がε=0.1の損失許容度に到達するには478,000件以上のサンプルが必要であるのに対し、レイヤー1では約238,000件で十分であることを示しており、学習可能性における有意義な差を示している。
• SDLとε SCはスケーラブルである：BERTサイズのタスクに対してこれらの指標を評価するのに単一GPUで約1時間で実行可能であり、実用的妥当性を示している。
• 損失-データ量曲線フレームワークは、従来の指標（VA、MI、MDL）が固定データセットの性質を評価しているのに対し、SDLとε SCは指定された損失を持つ予測子の性質を評価していることを明らかにした。これにより、実世界の導入要件とより整合性の高い評価が可能になる。