[論文レビュー] Label Refinery: Improving ImageNet Classification through Label Progression

Hessam Bagherinezhad, Maxwell Horton+2 more|arXiv (Cornell University)|May 7, 2018

Machine Learning and Data Classification参考文献 24被引用数 155

ひとこと要約

本論文は Label Refinery を紹介する。これは反復的にラベルを洗練させる方法で、cropレベルのラベルをソフトで動的なターゲットへと改良し、多くのアーキテクチャで ImageNet における精度を大幅に向上させる。

ABSTRACT

Among the three main components (data, labels, and models) of any supervised learning system, data and models have been the main subjects of active research. However, studying labels and their properties has received very little attention. Current principles and paradigms of labeling impose several challenges to machine learning algorithms. Labels are often incomplete, ambiguous, and redundant. In this paper we study the effects of various properties of labels and introduce the Label Refinery: an iterative procedure that updates the ground truth labels after examining the entire dataset. We show significant gain using refined labels across a wide range of models. Using a Label Refinery improves the state-of-the-art top-1 accuracy of (1) AlexNet from 59.3 to 67.2, (2) MobileNet from 70.6 to 73.39, (3) MobileNet-0.25 from 50.6 to 55.59, (4) VGG19 from 72.7 to 75.46, and (5) Darknet19 from 72.9 to 74.47.

研究の動機と目的

• 従来の単一ラベル注釈の画像分類における制限を特定する。
• ソフトで動的かつ集合的なラベルを生成する反復的でデータ駆動のラベル改良プロセスを提案する。
• ImageNet 上で多様なアーキテクチャに対して一貫した精度向上を実証する。
• 改良品質に影響を与える要因を分析する（アーキテクチャ、損失、ダイナミクス、対戦的ラベリング）。

提案手法

• データセット内のクロップのラベル拡張を、連続的な Label Refinery ネットワークを用いて形式化する。
• 最初のリファイナー Cθ1 を標準交差エントロピーで地上_truth ラベルに対して訓練する。
• 二次以降のリファイナー Cθt (t>1) を訓練する際、出力と前のリファイナーのソフトラベルとの間の KL ダイバージェンスを最小化し、反復を通じて情報を伝播させる。
• 必要に応じて、KL ダイバージェンスを最大化する入力の改変による対戦的ジッタリングを使用する。
• 異なるリファイナーアーキテクチャを試して、アーキテクチャ間の利益と過剰適合の挙動を調べる。
• 画像レベルとカテゴリレベルのラベル改良を比較して、どこで改良が最も利益をもたらすかを評価する。

実験結果

リサーチクエスチョン

• RQ1 モデル生成ソフトラベル方式を用いた反復的な crop レベルのラベル改良は、複数のアーキテクチャにわたる ImageNet 分類を改善できるか。
• RQ2 ダイナミック（画像固有）とソフト（確率的）ラベルは、性能向上にどのように寄与するか。
• RQ3 あるアーキテクチャで訓練されたリファイナーは、別のアーキテクチャを効果的に改善する（クロスアーキテクチャ改良）か。
• RQ4 改良プロセスで対戦的に摂動された crop の使用はどう影響するか。

主な発見

• リファイナリーベースの訓練は、アーキテクチャを跨いで Top-1 精度を一貫して向上させる（例：AlexNet、VGG19、ResNet50、MobileNet、Darknet19）。
• ソフト・ダイナミックラベリングと crop 単位のラベル改良は補完的な利益をもたらし、併用でさらに改善が生じる。
• クロスアーキテクチャ改良（例：ResNet-50 をリファイナーとして他のネットに使用）は、特にモバイルのようなコンパクトモデルで顕著な精度向上をもたらす。
• 自己改良と連続的リファイナーは過学習を減らし、訓練と検証の性能を整え、一般化を改善する。
• 対戦的に生成されたラベル（対戦的ジッタリング）は、改良と組み合わせた場合、小型モデルの精度をさらに高める。
• カテゴリレベルの taxonomy ベースの改良は、画像レベルの改良を上回らず、視覚的な類似性が利益を駆動する要因であることを示唆する。
• リファイナーのアーキテクチャの選択は重要で、過剰適合が少ないリファイナー Models は、下位の検証精度でも高品質な crop ラベルと良い下流性能を生むことがある。
• KL ダイバージェンスを改良損失として使用することは、単純な交差エントロピーを超えて一般化し、さまざまな損失設定を支える。