[論文レビュー] Are all training examples equally valuable

Àgata Lapedriza, Hamed Pirsiavash+2 more|arXiv (Cornell University)|Nov 25, 2013

Machine Learning and Data Classification参考文献 19被引用数 38

ひとこと要約

本稿では、個々の例の学習価値を測定・順位付けする手法を提案し、全データセットを使用するのではなく、高価値の学習例のサブセットを選択することで、視覚タスクにおける最先端の検出器および分類器の性能が向上することを示している。この手法は、例の有用性に基づくグリーディー前向き選択を用い、複数のモデルやデータセットにおいて、全データセットで学習する場合よりも高い平均適合度（AP）を達成している。

ABSTRACT

When learning a new concept, not all training examples may prove equally useful for training: some may have higher or lower training value than others. The goal of this paper is to bring to the attention of the vision community the following considerations: (1) some examples are better than others for training detectors or classifiers, and (2) in the presence of better examples, some examples may negatively impact performance and removing them may be beneficial. In this paper, we propose an approach for measuring the training value of an example, and use it for ranking and greedily sorting examples. We test our methods on different vision tasks, models, datasets and classifiers. Our experiments show that the performance of current state-of-the-art detectors and classifiers can be improved when training on a subset, rather than the whole training set.

研究の動機と目的

• 視覚タスクにおいて、すべての学習例がモデル性能に同等に寄与するかどうかを調査すること。
• 個々の例の学習価値を特定・定量化すること。一部の例が性能に悪影響を及える可能性があることを認識すること。
• モデルの汎化性能への貢献に基づいて、学習例を順位付け・選択する手法を開発すること。
• 全データセットではなく、データセットのサブセットで学習することで、性能を向上させることを実証すること。
• コンピュータビジョン分野における、全学習データを無差別に使用する標準的手法に挑戦すること。

提案手法

• 本稿では、各例が段階的な学習中にモデル性能の向上にどの程度寄与するかに基づいて、学習価値指標を定義している。
• 例の学習価値を順位付けするために、グリーディー前向き選択戦略を用い、1つずつ追加して高性能なサブセットを構築している。
• 各追加後にモデル性能を評価し、保持されたテストセットにおける平均適合度（AP）を性能指標として使用している。
• 複数のモデル（LDA、線形およびカーネルSVM）、特徴量（HOG、Gist、ビジュアルワード）、データセット（PASCAL VOC 2007、SUN 2012）にわたってこの手法を適用している。
• 手動ラベリングやアクティブラーニングを避けるために、既存データに対するモデルの挙動を用いて例の有用性を推定している。
• 有効性を検証するため、最良のサブセットの性能を、全学習、ランダムサブセット、逆順サブセットと比較している。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出および分類タスクにおいて、個々の学習例をそのモデル性能への寄与度で順位付け可能か？
• RQ2 高価値例のサブセットで学習することで、全データセットで学習するのと比較して性能が向上するか？
• RQ3 誤標識や重度に隠蔽されたインスタンスなど、モデル性能に悪影響を及える例は存在するか？
• RQ4 データ選択戦略により、全学習セットで達成可能な範囲を超えて汎化性能を向上させられるか？
• RQ5 データセットのサイズやバイアスは、提案された学習価値順位付け手法の有効性にどのように影響するか？

主な発見

• 高価値の学習例のサブセットで学習した場合、全データセットで学習した場合よりも高い平均適合度（AP）を達成しており、全データ使用の前に性能ピークが現れている。
• 最良の学習例サブセットは、全学習セットを上回り、PASCAL VOC 2007データセットの15個の共通クラスにおいて、APで最大0.23の向上を示した。
• 学習データの10％しか使用しなくても、一部のケースでは全データセットで学習した場合と同等またはそれ以上の性能を達成した。
• 低価値の例を逆順で学習しても、ランダムサブセットよりも性能が向上したが、最良のサブセットには到達しなかった。これは、学習にあまり効率的でないことを示している。
• この手法はデータセットに跨って一般化可能であった。PASCAL VOC 2007で最良のサブセットで学習したモデルをSUN 2012でテストしたところ、汎化性能が向上しており、より良い不変性を示している。
• より大きな学習データセットでは、より優れたサブセットが発見可能であり、データセットサイズが選択された例の質に影響することを確認した。