[論文レビュー] Learning Loss for Test-Time Augmentation

Ildoo Kim, Young-Hoon Kim+1 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Neural Network Applications参考文献 55被引用数 38

ひとこと要約

この論文は、loss-predictionモジュールを用いて各テスト入力に最も有望な変換を選択するインスタンス認識型のテスト時拡張（TTA）手法を提案し、追加コストを最小限に抑えつつロバスト性を向上させる。 CIFAR-100-CとImageNet-Cで、標準のTTAアプローチより性能を改善している。

ABSTRACT

Data augmentation has been actively studied for robust neural networks. Most of the recent data augmentation methods focus on augmenting datasets during the training phase. At the testing phase, simple transformations are still widely used for test-time augmentation. This paper proposes a novel instance-level test-time augmentation that efficiently selects suitable transformations for a test input. Our proposed method involves an auxiliary module to predict the loss of each possible transformation given the input. Then, the transformations having lower predicted losses are applied to the input. The network obtains the results by averaging the prediction results of augmented inputs. Experimental results on several image classification benchmarks show that the proposed instance-aware test-time augmentation improves the model's robustness against various corruptions.

研究の動機と目的

• 強力な訓練時拡張にもかかわらず、固定されたテスト時拡張を使用することによるロバウネスの問題を動機づける。
• 予測損失に基づいてテスト時変換を動的に選択するインスタンス認識フレームワークを導入する。
• 目標ネットワークとは別にコンパクトな損失予測モジュールを使用して効率を示す。
• CIFAR-100-CとImageNet-Cで一般的な腐敗タイプに対するロバストネスの向上を評価する。

提案手法

• 回転、ズーム、カラー、コントラスト、シャープネスを含む中程度で離散化された変換空間を定義する。
• 入力を与えられたときに各変換の相対損失を推定する別の損失予測ネットワークを訓練する。
• 損失予測と真の相対損失との相関を高めるようランキング損失を用いて損失予測器を訓練する。
• テスト時に、最も予測損失が低い上位k個の変換を選択し、これらの変換入力に対するターゲットモデルの出力を平均する。
• 追加の推論コストを避けるため、損失予測器を訓練している間はターゲットネットワークを固定する。
• 従来のテスト時拡張と貪欲探索法と比較する。

実験結果

リサーチクエスチョン

• RQ1 インスタンス固有のテスト時拡張は、固定TTAポリシーを超えるようなノイズ/腐敗に対するロバストネスを改善できるか？
• RQ2 軽量な損失予測モジュールは候補変換の相対損失をどれだけ効果的に推定できるか？
• RQ3 トップ-kのインスタンス認識拡張を使用したときの計算と精度のトレードオフはどの程度か？
• RQ4 インスタンス認識拡張は保持された見落とし腐敗（held-out corruptions）に一般化し、クリーンセットの性能を維持できるか？

主な発見

• この手法は、テスト時のコストを最小限に抑えつつ、腐敗データセットでのロバストネスを一貫して向上させる。
• k=1またはk=2の拡張入力を使用すると、Center-Crop, Horizontal-Flip, 5-Cropsのベースラインに対して顕著な利得を達成する。
• このアプローチは、ImageNet-CでGPSベースのポリシー探索を上回りつつ、計算コストが低い。
• 損失予測器はコンパクトで効率的で、推論オーバーヘッドへの寄与は小さい。
• アプローチは、トレーニング時の拡張ベースラインよりも、保持された腐敗への一般化が強いことを示す。