[論文レビュー] Specialized Support Vector Machines for open-set recognition.

Pedro Ribeiro Mendes-Junior, Jacques Wainer+1 more|arXiv (Cornell University)|Jun 13, 2016

Domain Adaptation and Few-Shot Learning参考文献 68被引用数 15

ひとこと要約

本論文は、テスト時に未知のクラスが出現する可能性があるオープンセット認識を想定した、SVMの新規拡張である特化型サポートベクターマシン（SSVM）を提案する。未知のリスクと経験的リスクのバランスをとり、RBFカーネルの制約によってオープンスペースのリスクを有界化することで、SSVMは分布外のサンプルを有限に拒否することを保証し、従来のSVMがオープンセット状況において抱える重大な限界を解消する。

ABSTRACT

Often, when dealing with real-world recognition problems, we do not need, and often cannot have, knowledge of the entire set of possible classes that might appear during operational testing. In such cases, we need to think of robust classification methods able to deal with the and properly reject samples belonging to classes never seen during training. Notwithstanding, almost all existing classifiers to date were mostly developed for the closed-set scenario, i.e., the classification setup in which it is assumed that all test samples belong to one of the classes with which the classifier was trained. In the open-set scenario, however, a test sample can belong to none of the known classes and the classifier must properly reject it by classifying it as unknown. In this work, we extend upon the well-known Support Vector Machines (SVM) classifier and introduce the Specialized Support Vector Machines (SSVM), which is suitable for recognition in open-set setups. SSVM balances the empirical risk and the risk of the unknown and ensures that the region of the feature space in which a test sample would be classified as known (one of the known classes) is always bounded, ensuring a finite risk of the unknown. In this work, we also highlight the properties of the SVM classifier related to the open-set scenario, and provide necessary and sufficient conditions for an RBF SVM to have bounded open-space risk.

研究の動機と目的

• 未知のクラスが出現する現実世界の状況において、従来のSVMがすべてのテストサンプルが既知の訓練クラスに属すると仮定する閉じたセット仮定（closed-set assumption）の限界を是正すること。
• 推論時に未知クラスのサンプルを信頼性高く拒否できる分類フレームワークを開発すること。これは実用的オープンセット認識における重要な要件である。
• 特徴空間内で「既知」と分類される領域が常に有界であることを保証し、未知サンプルが誤って「既知」と分類されるリスクが有限であることを保証すること。
• RBF-SVMが本質的に有界なオープンスペースリスクを有するための理論的条件を提供し、オープンセット対応モデルの原理的設計を可能にする。

提案手法

• 標準SVMを拡張し、未知クラスに関連するリスクを明示的にモデル化・最小化する特化型の定式化を導入する。
• 既知クラスの経験的リスクと、未知サンプルの誤分類リスクをバランスさせるために、未知領域における過信をペナルティ化する二重最適化目的関数を用いる。
• RBFカーネルの暗黙的な幾何構造を制約として用いることで、特徴空間における既知クラス領域の有界性を強制する。
• RBF-SVMが有界なオープンスペースリスクを達成するための必要十分条件を、カーネルのマージンおよびデータ分布の性質に基づいて導出する。
• 既知クラス分類と未知クラス拒否の両方の目的関数を組み込んだ、変更された最適化問題としてSSVMを定式化する。
• RBFカーネルの構造的性質を活用し、意思決定関数が未知領域に無限に拡張しないようにすることで、未知誤分類のリスクを制限する。

実験結果

リサーチクエスチョン

• RQ1 標準的なRBF-SVMが、未知サンプルを信頼性高く拒否できるように、本質的に有界なオープンスペースリスクを持つ条件は何か？
• RQ2 SVMフレームワークをどのように変更すれば、トレーニング段階で未知クラスのリスクを明示的に考慮でき、オープンセット認識におけるロバスト性を確保できるか？
• RQ3 特徴空間内で「既知」と分類される領域が常に有界であることを保証するための数学的制約は何か？
• RQ4 提案されたSSVMフレームワークは、既知クラスにおける高い精度を維持しつつ、未知誤分類のリスクを有限に保証できるか？
• RQ5 推論段階において、SSVMの定式化は従来のSVMと、分布外サンプルの取り扱い方でどのように異なるか？

主な発見

• 本論文は、RBF-SVMが本質的に有界なオープンスペースリスクを示すための必要十分条件を確立し、オープンセット耐性の理論的基盤を提供する。
• 提案されたSSVMフレームワークにより、特徴空間内で「既知」と分類される領域が常に有界であることが保証され、未知誤分類のリスクが有限であることが保証される。
• 経験的リスクと未知リスクを明示的にバランスさせることで、SSVMは既知クラスのパフォーマンスを損なわせることなく、分布外サンプルの信頼性ある拒否を達成する。
• この手法は、標準SVMがオープンセット認識に本質的に不適切であることを示しており、それは無限に拡張するオープンスペースリスクに起因し、未知サンプルの高頻度な誤分類を引き起こす可能性がある。
• 理論的分析により、RBFカーネルの構造が、特定の幾何的および分布的制約が満たされた場合に有界な意思決定領域を可能にすることが確認された。
• SSVMは、SVMの適用範囲を閉じたセット仮定を超えて拡張する、原理的かつ理論的根拠に基づいたオープンセット認識のための手法を提供する。