[論文レビュー] Learning a Neural-network-based Representation for Open Set Recognition

Mehadi Hassen, Philip K. Chan|arXiv (Cornell University)|Feb 12, 2018

Anomaly Detection Techniques and Applications被引用数 8

ひとこと要約

本稿では、同クラスのインスタンスを密にクラスタリングし、異クラスのインスタンスを遠ざけることで、有効なオープンセット認識を可能にするニューラルネットワークベースの表現学習手法を提案する。訓練と推論における距離尺度を一致させる新しい損失関数を導入することで、ベースラインおよびOpenMaxと比較して統計的に有意な性能向上を達成した。

ABSTRACT

Open set recognition problems exist in many domains. For example in security, new malware classes emerge regularly; therefore malware classification systems need to identify instances from unknown classes in addition to discriminating between known classes. In this paper we present a neural network based representation for addressing the open set recognition problem. In this representation instances from the same class are close to each other while instances from different classes are further apart, resulting in statistically significant improvement when compared to other approaches on three datasets from two different domains.

研究の動機と目的

• テスト時に未知のクラスが出現するオープンセット認識の課題に取り組むこと、特にマルウェア分類のようなセキュリティ分野における応用を想定する。
• 未知のインスタンスを既知のクラスに誤分類してしまう従来の分類器の限界を克服すること。
• 既知クラスの分類と未知クラスの検出の両方を内蔵的にサポートするディーブラーニングベースの表現を開発すること。
• クラス間距離を最大化し、クラス内コンパクト性を強制することで、新規クラスの検出を堅牢に可能にすること。
• 訓練と外れ値スコアリングの両方で同一の距離関数を使用する統一フレームワークを提供することで、一貫性と性能を向上させること。

提案手法

• 学習済み表現空間におけるクラス内コンパクト性とクラス間分離を促進する新しい損失関数を用いて、深層ニューラルネットワークを訓練する。
• 訓練時と推論時の両方で一貫性を持つために、正規化されたユークリッド距離とコサイン距離の重み付き組み合わせである統合距離尺度を用いる。
• クラスプロトタイプからの距離を用いて、未知クラスインスタンスを特定するためのしきい値推定技術を導入し、汚染率（0.01）に基づく。
• すべての層でバッチ正則化とドロップアウトを適用して正則化を行い、非線形層にはReLU活性化関数を用いる。
• Adam最適化アルゴリズムを用いて訓練し、特定のハイパーパrameter（例：0.001の学習率、beta1=0.5、beta2=0.999）を設定し、MNISTでは5000イテレーション、Android/MS Challengeデータセットでは10,000イテレーションを実行する。
• 比較のため、同じアーキテクチャに対して標準的なクロスエントロピー損失（ce）、インスタンス単位損失（ii）、および組み合わせ損失（ii+ce）を評価し、同じバックボーンを用いたOpenMaxとも比較する。

実験結果

リサーチクエスチョン

• RQ1 同じクラスのインスタンスがより近づき、異なるクラスのインスタンスがより遠ざかるようなニューラルネットワーク表現を学習可能か？ これによりオープンセット認識が向上するか？
• RQ2 訓練と外れ値スコアリングに同一の距離関数を用いることで、別々の尺度を用いる場合と比較して検出性能が向上するか？
• RQ3 提案された損失関数は、標準的なクロスエントロピー損失およびインスタンス単位損失と比較して、オープンセット認識精度において優れているか？
• RQ4 提案手法は、元の訓練データを超えたドメイン（画像認識およびマルウェア認識など）に一般化可能か？
• RQ5 ラベル付き外れ値を必要とせずに、汚染率（0.01）に基づくしきい値推定技術は、未知クラスインスタンスの特定に有効か？

主な発見

• 提案手法は、MNIST、MS Challenge（マルウェア）、Androidマルウェアの3つの多様なデータセットにおいて、標準的なクロスエントロピー学習およびOpenMaxと比較して統計的に有意な向上を達成した。
• インスタンス単位損失とクロスエントロピー損失を組み合わせたii+ce損失バリアントが、個別の損失関数およびOpenMaxを上回るオープンセット認識性能を示した。
• 訓練と推論に統一された距離尺度を用いることで、評価されたすべてのデータセットでより一貫性があり信頼性の高い外れ値検出が可能になった。
• 本手法は閉じたセット分類においても優れた性能を維持しながら、同時に未知クラスの効果的な検出を可能にした。
• 汚染率（0.01）に基づくしきい値推定により、追加のラベル付きデータを必要とせずに未知インスタンスを効果的に特定できた。
• 本手法はドメインを越えて良好に一般化し、画像認識およびマルウェア分類の両タスクで強力な性能を示した。