[論文レビュー] Adaptive Label Smoothing

Ujwal Krothapalli, A. Lynn Abbott|arXiv (Cornell University)|Sep 14, 2020

Video Analysis and Summarization参考文献 48被引用数 7

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）の学習中にボクセル境界ボックスからのオブジェクトネススコアを用いて、オブジェクトのサイズに応じてラベルスムージングを動的に調整する、適応的ラベルスムージングを提案する。コンテキストではなくオブジェクトの割合に基づいて信頼度予測を根拠にすることで、コンテキストのみの画像において過信度を1桁低減し、MS COCOにおいてキャリブレーションと転移学習性能を向上させ、ハードラベルや標準ラベルスムージングを上回る性能を発揮する。

ABSTRACT

This paper concerns the use of objectness measures to improve the calibration performance of Convolutional Neural Networks (CNNs). CNNs have proven to be very good classifiers and generally localize objects well; however, the loss functions typically used to train classification CNNs do not penalize inability to localize an object, nor do they take into account an object's relative size in the given image. During training on ImageNet-1K almost all approaches use random crops on the images and this transformation sometimes provides the CNN with background only samples. This causes the classifiers to depend on context. Context dependence is harmful for safety-critical applications. We present a novel approach to classification that combines the ideas of objectness and label smoothing during training. Unlike previous methods, we compute a smoothing factor that is \emph{adaptive} based on relative object size within an image. This causes our approach to produce confidences that are grounded in the size of the object being classified instead of relying on context to make the correct predictions. We present extensive results using ImageNet to demonstrate that CNNs trained using adaptive label smoothing are much less likely to be overconfident in their predictions. We show qualitative results using class activation maps and quantitative results using classification and transfer learning tasks. Our approach is able to produce an order of magnitude reduction in confidence when predicting on context only images when compared to baselines. Using transfer learning, we gain 2.1mAP on MS COCO compared to the hard label approach.

研究の動機と目的

• 安全上の重要な応用に用いられる深層CNNにおける過信度とコンテキストバイアスを軽減すること。
• トレーニング中にオブジェクトサイズ情報を組み込むことで、モデルのキャリブレーションを向上させること。
• 予測をオブジェクトの存在とスケールに基づいて根拠づけることで、コンテキストやテクスチャの手がかりへの依存を減らすこと。
• ImageNetの事前学習を用いたオブジェクト検出タスクにおける転移学習性能を向上させること。
• オブジェクトネスに基づいてラベルスムージングを適応的に調整することで、より信頼性の高い不確実性推定を提供すること。

提案手法

• 本手法は、ボクセル境界ボックスのアノテーションから得られるオブジェクトネススコアを用いて、適応的スムージング係数を計算する。
• オブジェクトネスは、切り出し画像ウィンドウにImageNetの1000クラスのいずれかのオブジェクトが含まれる確率を測定する。
• スムージング係数はハードラベルに適用され、オブジェクトの画像面積に対する相対的サイズを反映するソフトラベルに変換される。
• トレーニング中は、これらの適応的ソフトラベルに対して交差エントロピー損失が適用され、小さなオブジェクトや存在しないオブジェクトの信頼度が低減される。
• スムージングの度合いを制御するハイパーパramータ β を用いて、その影響に関するアブレーションスタディが可能となる。
• 本手法は、ResNet-50およびResNet-101を用いたImageNet-1Kで評価され、オブジェクト検出のためのMS COCOでファインチューニングが行われた。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトサイズの情報は、分類学習中の深層CNNのキャリブレーションを向上させることができるか？
• RQ2 適応的ラベルスムージングは、コンテキストのみの画像における予測の過信度を低減するか？
• RQ3 適応的ラベルスムージングは、オブジェクト検出の転移学習においてハードラベルや固定ラベルスムージングと比較して優れているか？
• RQ4 スムージングハイパーパramータ β の影響は、モデルのキャリブレーションと局所化性能にどのような影響を及ぼすか？
• RQ5 適応的ラベルスムージングは、安全上の重要な応用において、より良い一般化性能と信頼性をもたらすか？

主な発見

• ハードラベルや標準ラベルスムージングと比較して、適応的ラベルスムージングはコンテキストのみの画像における平均信頼度を1桁低減した。
• MS COCOオブジェクト検出において、ハードラベルベースラインと比較して2.1 mAPの向上を達成した。
• 平均精度において、最先端のデータオーギュメンテーション手法CutMixと0.001 mAP以内の差で同等の性能を発揮した。
• βハイパーパramータを大きくすると、モデルの過信度が低下し、より平滑（キャリブレーションが取れた）な予測が得られた。
• βの値を小さくすると、オブジェクト局所化性能が劣化する傾向にあり、キャリブレーションと局所化精度の間にはトレードオフがあることが示された。
• クラスアクティビティマップの可視化から、適応的ラベルスムージングを用いることで、関連するオブジェクト領域への空間的注目が向上した。