[論文レビュー] Deep CNN-based Multi-task Learning for Open-Set Recognition

Poojan Oza, Vishal M. Patel|arXiv (Cornell University)|Mar 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 22

ひとこと要約

本論文は、分類器、特徴抽出器、再構成デコーダーを同時に学習する深層畳み込みニューラルネットワークベースのマルチタスク学習フレームワーク、MLOSRを提案する。再構成誤差と極値理論を活用して未知のサンプルを検出することで、MLOSRは最先端の性能を達成し、TinyImageNetではAUROCが最大5%向上し、OOD検出においてはベースライン比で平均16.45%のF1スコア向上を達成した。

ABSTRACT

We propose a novel deep convolutional neural network (CNN) based multi-task learning approach for open-set visual recognition. We combine a classifier network and a decoder network with a shared feature extractor network within a multi-task learning framework. We show that this approach results in better open-set recognition accuracy. In our approach, reconstruction errors from the decoder network are utilized for open-set rejection. In addition, we model the tail of the reconstruction error distribution from the known classes using the statistical Extreme Value Theory to improve the overall performance. Experiments on multiple image classification datasets are performed and it is shown that this method can perform significantly better than many competitive open set recognition algorithms available in the literature. The code will be made available at: github.com/otkupjnoz/mlosr.

研究の動機と目的

• 深層畳み込みニューラルネットワークがオープンセット条件下での未知クラスの認識に限界を示す問題に対処すること。
• 分類と再構成ベースの異常検出を統合することで、オープンセット認識の性能を向上させること。
• 未知クラスのサンプルをより効果的に拒否するために、既知クラスの再構成誤差の裾分布を極値理論でモデル化すること。
• 既知クラスと未知クラスの両方の特徴学習を強化する統合的マルチタスク学習フレームワークの開発

提案手法

• マルチタスク学習の枠組みにおいて、分類器ネットワークとデコーダー・ネットワークの両方で共有される特徴抽出ネットワークを採用する。
• デコーダー・ネットワークは共有された特徴から入力画像を再構成し、再構成誤差を未知クラス検出の異常スコアとして用いる。
• 極値理論を用いて、既知クラスからの再構成誤差の裾分布をモデル化し、最適な拒否閾値を設定する。
• 分類と再構成の目的関数をバランスさせる統合損失関数を用いて、エンドツーエンドでモデルを訓練する。
• CIFAR-10、CIFAR+10、CIFAR+50、TinyImageNetなど複数のデータセットを用い、オープンセットおよびOOD検出の両プロトコルでフレームワークを評価する。
• VGGNetおよびDenseNetバックボーンを用い、CROSR や DHRNet といった最先端のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 共有特徴抽出器を用いたマルチタスク学習は、深層畳み込みニューラルネットワークにおけるオープンセット認識性能を向上させ得るか？
• RQ2 デコーダー・ネットワークからの再構成誤差は、未知クラスのサンプル検出にどの程度有効か？
• RQ3 再構成誤差の裾分布を極値理論でモデル化することで、オープンセット拒否のロバスト性を向上させられるか？
• RQ4 提案されたMLOSRフレームワークは、オープンセット認識およびOOD検出の両面で、既存の最先端手法を上回る性能を示すか？
• RQ5 本手法は、ドメインシフトやクラス不均衡の度合いが異なる多様なデータセットに一般化可能か？

主な発見

• 挑戦的なTinyImageNetデータセットにおいて、MLOSRは次善の手法CROSRに比べてAUROCで5%の向上を達成した。
• OOD検出において、VGGNetバックボーンを用いたMLOSRは、ImageNet-cropではF1スコアで11.6%、LSUN-resizeでは19.8%の向上を達成した。
• DenseNetバックボーンを用いたMLOSRは、すべてのOODベンチマークで次善の手法比で平均16.45%のF1スコア向上を達成した。
• MLOSRは、前回の最先端手法DHRNet+CROSRに比べ、OOD検出で平均12.25%の向上を示した。
• 数字データセットでは、MLOSRは最高性能を示したCROSRとほぼ同等の性能を発揮し、単純なデータセットから複雑なデータセットにかけての一般化能力が強いことが示された。