[論文レビュー] M2IOSR: Maximal Mutual Information Open Set Recognition

Xin Sun, Henghui Ding+3 more|arXiv (Cornell University)|Aug 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 10

ひとこと要約

M2IOSRは、入力画像とそのマルチスケール潜在特徴間の相互情報量を最大化することで、クラス固有の特徴抽出を強化する、軽量でエンコーダー専用のオープンセット認識手法を提案する。ピクセルレベルの再構成を相互情報量の最大化に置き換え、KLダイバージェンスを用いてクラス条件付きガウス分布を強制することで、オープンスペースリスクを低減し、複数のベンチマークで最先端の性能を達成した。

ABSTRACT

In this work, we aim to address the challenging task of open set recognition (OSR). Many recent OSR methods rely on auto-encoders to extract class-specific features by a reconstruction strategy, requiring the network to restore the input image on pixel-level. This strategy is commonly over-demanding for OSR since class-specific features are generally contained in target objects, not in all pixels. To address this shortcoming, here we discard the pixel-level reconstruction strategy and pay more attention to improving the effectiveness of class-specific feature extraction. We propose a mutual information-based method with a streamlined architecture, Maximal Mutual Information Open Set Recognition (M2IOSR). The proposed M2IOSR only uses an encoder to extract class-specific features by maximizing the mutual information between the given input and its latent features across multiple scales. Meanwhile, to further reduce the open space risk, latent features are constrained to class conditional Gaussian distributions by a KL-divergence loss function. In this way, a strong function is learned to prevent the network from mapping different observations to similar latent features and help the network extract class-specific features with desired statistical characteristics. The proposed method significantly improves the performance of baselines and achieves new state-of-the-art results on several benchmarks consistently.

研究の動機と目的

• 自己符号化器ベースのオープンセット認識（OSR）手法におけるピクセルレベル再構成の過剰な要求を緩和すること。
• すべての画像ピクセルを再構成するのではなく、標的オブジェクトに注目することで、クラス固有の特徴抽出を向上させること。
• 潜在特徴がクラス条件付きガウス分布に従うように制約することで、オープンスペースリスクを低減すること。
• 相互情報量の最大化を活用することで、デコーダーを排除した軽量で効率的なOSRモデルを構築すること。
• 簡素化されたアーキテクチャと効果的な特徴学習戦略により、標準的なOSRベンチマークで最先端の性能を達成すること。

提案手法

• 入力画像とその複数スケールの潜在特徴間の相互情報量（MI）を最大化することで、入力と表現の間の相関関係を強化する。
• 同じ画像からのポジティブペアに対して、グローバルMI（全入力と潜在特徴間）とローカルMI（画像パッチと潜在特徴間）を同時に最大化する。
• 異なる画像からのネガティブペアに対してグローバルおよびローカルMIを最小化することで、既知クラスと未知クラスの間の識別性能を向上させる。
• KLダイバージェンス損失関数を用いて、潜在特徴がクラス条件付きガウス分布に従うように制約し、オープンスペースリスクを低減する。
• デコーダーを排除した単一のエンコーダーネットワークを用いることで、アーキテクチャを簡素化し、モデルの複雑さを低減する。
• 異なる受容 field レベルにわたる特徴情報を保持するために、マルチスケールローカルMI最適化を適用する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルの再構成を伴わずに、入力と潜在特徴間の相互情報量の最大化が、オープンセット認識におけるクラス固有の特徴抽出を改善できるか？
• RQ2 マルチスケールローカル相互情報量は、OSRにおけるより良い特徴学習と標的オブジェクトの局所化にどのように寄与するか？
• RQ3 KLダイバージェンスを用いてクラス条件付きガウス分布を強制することで、OSRにおけるオープンスペースリスクはどの程度低減できるか？
• RQ4 相互情報量の最大化を活用した軽量なエンコーダー専用アーキテクチャは、精度と効率の両面で自己符号化器ベースのOSR手法を上回れるか？
• RQ5 M2IOSRは、既知／未知クラスの構成が異なる多様なベンチマーク設定において、最先端の手法と比較してどのように性能を発揮するか？

主な発見

• CIFAR+10およびCIFAR+50ベンチマークにおいて、M2IOSRは新たな最先端のF1スコアを達成し、平均F1スコアはそれぞれ0.924および0.923を記録し、先行手法を顕著に上回った。
• MNISTベースのOSRタスクでは、M2IOSRはOmniglotで0.924、MNIST-Noiseで0.923、Noiseで0.929のF1スコアを達成し、すべてのベースラインを上回った。
• 潜在特徴がクラス条件付きガウス分布に従うように制約することで、オープンスペースリスクが低減され、未知サンプルへの一般化性能が向上した。
• ポジティブ／ネガティブペアのMI最適化を導入しても、M2IOSRは比較的小さなパラメータ数（9,444k）と、VGG-13上で合理的な推論時間（0.618 ms/画像）を維持した。
• アブレーションスタディの結果、マルチスケールローカルMI、相互情報量の最大化、KLダイバージェンス損失が、性能向上に顕著な寄与をしていることが確認された。
• 背景比率が高い状況においても、M2IOSRは自己符号化器ベースの手法に比べて優れたターゲットオブジェクトの局所化性能を示した。