[論文レビュー] What Does Rotation Prediction Tell Us about Classifier Accuracy under Varying Testing Environments?

Weijian Deng, Stephen Jay Gould+1 more|arXiv (Cornell University)|Jun 10, 2021

Digital Imaging for Blood Diseases被引用数 11

ひとこと要約

本論文では、ラベルなしテストセットにおける意味的分類器の性能を、さまざまな環境下で推定するための代理指標として回転予測精度を提案する。分類と回転予測の両方を最適化するマルチタスクネットワークを訓練することで、回転予測精度と分類精度の間に強い線形相関（r > 0.88）が得られ、ラベルなしデータ上で単純な線形回帰を用いることで汎化性能を正確に推定可能である。

ABSTRACT

Understanding classifier decision under novel environments is central to the community, and a common practice is evaluating it on labeled test sets. However, in real-world testing, image annotations are difficult and expensive to obtain, especially when the test environment is changing. A natural question then arises: given a trained classifier, can we evaluate its accuracy on varying unlabeled test sets? In this work, we train semantic classification and rotation prediction in a multi-task way. On a series of datasets, we report an interesting finding, i.e., the semantic classification accuracy exhibits a strong linear relationship with the accuracy of the rotation prediction task (Pearson's Correlation r > 0.88). This finding allows us to utilize linear regression to estimate classifier performance from the accuracy of rotation prediction which can be obtained on the test set through the freely generated rotation labels.

研究の動機と目的

• 人為的アノテーションが高コストまたは入手不能なラベルなしの分布外テストセットにおける分類器性能の評価という課題に対処すること。
• ドメインシフト下で意味的分類精度の信頼できる代理指標として、回転予測のような自己教師付きプロムプトタスクが有効であるかを調査すること。
• ラベルなしデータを必要とせずに、未観測のテストドメインにおける分類器の汎化性能を推定する手法を開発すること。
• 実世界の展開シナリオにおける分布外または未観測のクラスに一般化できるか、回転予測を代理指標として用いる妥当性と耐性を評価すること。

提案手法

• 意味的画像分類と回転予測（0°, 90°, 180°, 270°）の両方を同時に最適化するマルチタスクニューラルネットワークを訓練する。
• 回転ラベルは人為的アノテーションなしに合成的に生成可能であるため、ラベルなしテストセットにおける回転予測精度を代理指標として用いる。
• ラベル付きバリデーションセットを用いて、回転予測精度から推定された意味的分類精度への線形回帰モデルを学習する。
• 訓練済みの回帰モデルを用い、ラベルなしの新しい未観測テストセットに対して、回転予測スコアのみを用いて分類精度を予測する。
• CIFAR-10, CIFAR-100, MNIST, Tiny-ImageNet, COCOなど多様なデータセットを用い、ドメインシフトを想定した環境で手法を評価する。
• 代替の自己教師付きプロムプトタスク（例：ジャイガーパズル、カラー化）の性能を比較し、分類精度に与える影響が最小限である点を考慮して回転予測を選択する。

実験結果

リサーチクエスチョン

• RQ1 多様なテスト環境において、回転予測精度と意味的分類精度の間に強い統計的相関が存在するか？
• RQ2 ラベルなしテストセットにおける回転予測精度を、モデルの真の分類精度を信頼性高く推定するための代理指標として使用できるか？
• RQ3 異なるデータセット、モデルアーキテクチャ、クラス数の変動に対しても、相関関係は維持されるか？
• RQ4 代替の自己教師付きプロムプトタスクは、回転予測に比べて同等または優れた代理指標性能を示すか？
• RQ5 本手法は、実世界の展開環境において分布外または未観測のクラスに対しても一般化可能か？

主な発見

• CIFAR-10, CIFAR-100, MNIST, Tiny-ImageNet, COCOを含む全評価データセットにおいて、意味的分類精度と回転予測精度の間に強い線形相関（ピアソンのr > 0.88）が存在する。
• クラス数の増加に対しても相関が維持され、CIFAR-100では順位相関ρ > 0.9を示しており、クラスの複雑さに対して耐性があることが示された。
• 保持済みデータを用いた線形回帰による検証を通じて、未観測のテストセットにおいても回転予測精度のみを用いて有望な推定性能を達成した。
• マルチタスク設定において回転予測を用いても、分類精度に顕著な低下が見られず、ジャイガーパズルとは異なり約2%の性能低下が生じない。
• ジャイガーパズルも分類精度と強い線形相関（r > 0.95）を示すが、主タスク性能への悪影響が顕著なため、代理指標としての適性に劣る。
• 本手法により、ドメインシフト下における分類器の汎化性能の無人評価が可能となり、高コストな人為的アノテーション付きテストセットに対する実用的代替手段を提供する。