[論文レビュー] Understanding the Impact of Label Granularity on CNN-based Image Classification

Zhuo Chen, Ruizhou Ding+2 more|arXiv (Cornell University)|Jan 21, 2019

Machine Learning and Data Classification参考文献 19被引用数 4

ひとこと要約

この論文は、'猫'の代わりに'ペルシャネコ'のような細分化されたラベルでCNNを訓練することで、最適化と一般化が向上し、粗粒分類タスクにおける精度が向上することを示している。驚くべきことに、細分化ラベルで40%のデータのみを用いて訓練したCNNが、全データを用いて粗粒ラベルで訓練したものよりも優れた性能を示し、顕著なデータ効率の向上が示された。

ABSTRACT

In recent years, supervised learning using Convolutional Neural Networks (CNNs) has achieved great success in image classification tasks, and large scale labeled datasets have contributed significantly to this achievement. However, the definition of a label is often application dependent. For example, an image of a cat can be labeled as "cat" or perhaps more specifically "Persian cat." We refer to this as label granularity. In this paper, we conduct extensive experiments using various datasets to demonstrate and analyze how and why training based on fine-grain labeling, such as "Persian cat" can improve CNN accuracy on classifying coarse-grain classes, in this case "cat." The experimental results show that training CNNs with fine-grain labels improves both network's optimization and generalization capabilities, as intuitively it encourages the network to learn more features, and hence increases classification accuracy on coarse-grain classes under all datasets considered. Moreover, fine-grain labels enhance data efficiency in CNN training. For example, a CNN trained with fine-grain labels and only 40% of the total training data can achieve higher accuracy than a CNN trained with the full training dataset and coarse-grain labels. These results point to two possible applications of this work: (i) with sufficient human resources, one can improve CNN performance by re-labeling the dataset with fine-grain labels, and (ii) with limited human resources, to improve CNN performance, rather than collecting more training data, one may instead use fine-grain labels for the dataset. We further propose a metric called Average Confusion Ratio to characterize the effectiveness of fine-grain labeling, and show its use through extensive experimentation. Code is available at https://github.com/cmu-enyac/Label-Granularity.

研究の動機と目的

• ラベルの粒度が画像分類タスクにおけるCNN性能に与える影響を調査すること。
• 粗粒ラベルと比較して、細分化ラベルで訓練することで精度とデータ効率が向上するかどうかを特定すること。
• 細分化ラベルの有効性を予測する定量的指標を提案すること。
• 人材およびデータリソースの制約が異なる状況下での細分化ラベルの実用的応用を検討すること。

提案手法

• CIFAR-10、CIFAR-100、ImageNetデータセットを用いた広範な実験により、粗粒ラベルと細分化ラベルでの訓練を比較した。
• 全データおよび削減済み（例：40%）の訓練データを用いて、データ効率を評価した。
• ラベル階層の質を測定し、性能向上を予測するために、平均混乱比（ACR）を定義・計算した。
• ランダムネス要因を用いて細分化ラベルに制御されたノイズを導入し、細分化ラベルの恩恵のロバストネスをテストした。
• CIFAR-100における粗粒クラス数を変化させ、細分化ラベルの効果の飽和現象を調査した。
• 複数の実験設定において、テスト精度の向上（ΔA^test）とACR値の相関を分析した。

実験結果

リサーチクエスチョン

• RQ1 粗粒ラベルで訓練する場合と比較して、細分化ラベルで訓練することで、粗粒クラスの分類精度が向上するか？
• RQ2 細分化ラベルはCNNの訓練におけるデータ効率にどのように影響するか？
• RQ3 細分化ラベルがCNN性能を向上させる要因として何が重要か？
• RQ4 定量的指標を用いて、細分化ラベルの使用による性能向上を予測できるか？
• RQ5 粗粒クラスの数が細分化ラベルの恩恵にどのように影響するか？

主な発見

• CIFAR-10の訓練データの40%のみを用いて細分化ラベルで訓練したCNNは、全データと粗粒ラベルで訓練したCNN（98.42%）よりも高いテスト精度（99.20%）を達成した。
• 細分化ラベルの使用は、CIFAR-10、CIFAR-100、およびImageNetサブセットを含むすべてのテストされたデータセットで、トレーニング精度（最適化）とテスト精度（一般化）の両方を向上させた。
• 粗粒クラスの数が増加するにつれて、細分化ラベルによる向上効果が減少し、CIFAR-100で粗粒クラス数が15を超えた場合にはほとんど向上が見られなくなった。
• 平均混乱比（ACR）指標は、性能向上と強く相関しており、ACR値が高いほどテスト精度の向上が予測された。
• 細分化ラベルにランダムネスを段階的に増加させた場合、細分化ラベル訓練による性能向上が減少したため、ラベル品質が極めて重要であることが示された。
• 細分化ラベルの使用は収束を早め、より良い特徴学習を促進し、粗粒クラスへの一般化能力を向上させた。