[論文レビュー] Greedy Policy Search: A Simple Baseline for Learnable Test-Time Augmentation

Dmitry Molchanov, Alexander Lyzhov+3 more|arXiv (Cornell University)|Feb 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 42

ひとこと要約

この論文は Greedy Policy Search (GPS) を導入します。これは、予測性能、不確実性推定、そしてロバスト性を改善するテスト時拡張ポリシーを学習する簡易な方法であり、従来の TTA ベースラインを上回ります。

ABSTRACT

Test-time data augmentation$-$averaging the predictions of a machine learning model across multiple augmented samples of data$-$is a widely used technique that improves the predictive performance. While many advanced learnable data augmentation techniques have emerged in recent years, they are focused on the training phase. Such techniques are not necessarily optimal for test-time augmentation and can be outperformed by a policy consisting of simple crops and flips. The primary goal of this paper is to demonstrate that test-time augmentation policies can be successfully learned too. We introduce greedy policy search (GPS), a simple but high-performing method for learning a policy of test-time augmentation. We demonstrate that augmentation policies learned with GPS achieve superior predictive performance on image classification problems, provide better in-domain uncertainty estimation, and improve the robustness to domain shift.

研究の動機と目的

• テスト時拡張ポリシーを学習して性能を向上させられることを示す。
• 校正済み対数尤度(cLL)がGPSの重要な目的関数であることを示す。
• GPSを同一ドメイン内の精度、不確実性推定、及びドメインシフト耐性の観点で評価する。
• アーキテクチャとデータセットを横断したポリシーの移行性を調査する。

提案手法

• テスト時拡張(TTA)ポリシーを、順次画像変換を適用するサブポリシーの集合として定義する。
• 検証セット上で校正済み対数尤度を最大化するサブポリシーを順次追加するためにGreedy Policy Search(GPS)を用いる。
• 高速な選択を可能にするために候補サブポリシーのプールに対する予測を事前計算する。
• 温度スケーリング後の校正済み対数尤度(cLL)を用いて最適化し、単純な精度や校正されていない対数尤度ではない。
• CIFAR-10/100およびImageNet上で複数のアーキテクチャに跨ってGPSを示し、移行性とアンサンブル効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で貪欲探索的なテスト時拡張の探索は、従来のTTAよりも良い予測性能を生み出すだろうか？
• RQ2 校正済み対数尤度は、精度や校正されていない対数尤度と比べてTTAポリシー学習の優れた目的関数となるか？
• RQ3 GPSで学習したポリシーはアーキテクチャやデータセットを横断して移行可能であり、テスト時拡張下でアンサンブルを強化できるか？
• RQ4 ドメインシフト下および破損データにおけるGPSの性能は、標準的なTTA手法と比べてどうか？

主な発見

指標	VGG (CIFAR-100)	ResNet110 (CIFAR-100)	WideResNet (CIFAR-100)
Acc(%)	81.17±0.15	83.01±0.18	85.71±0.10
LL	81.89±0.07	83.55±0.09	86.22±0.05
cLL	82.21±0.17	83.54±0.06	86.44±0.05

• GPSポリシーは一貫して従来のTTA、トレーニング時ポリシーの再使用、および格子探索された大きさを持つ RandAugment を上回る。
• 校正済み対数尤度を最適化することは、モデル間でGPSの精度と校正信号を向上させる。
• クリーンデータ上で訓練されたポリシーは、異なるアーキテクチャや大規模モデルへ良く転移し、ドメインシフト下でベースラインを上回ることが多い。
• GPSはアンサンブルをさらに改善でき、単一モデルのTTA改善を超える利得を提供する。
• 学習済みのTTAポリシーは破損やドメインシフトに対する頑健性を提供し、時にはより極端な拡張から恩恵を受ける。