[論文レビュー] Unsupervised Learning of the Set of Local Maxima

Lior Wolf, Sagie Benaim+1 more|arXiv (Cornell University)|Jan 14, 2020

Face and Expression Recognition被引用数 5

ひとこと要約

本稿では、教師なし学習フレームワークを提案し、未知の価値関数 $v$ の局所的最大値を特定するため、セットインジケータ分類器 $c$ と比較関数 $h$ を同時に学習する。近傍の点が $h$ によって低い値と予測された場合、それらが $c$ のための負例として機能する相互監視を活用することで、1クラス分類よりも異常検出性能が向上し、理論的裏付けとして一般化バウンドが導出されている。

ABSTRACT

This paper describes a new form of unsupervised learning, whose input is a set of unlabeled points that are assumed to be local maxima of an unknown value function v in an unknown subset of the vector space. Two functions are learned: (i) a set indicator c, which is a binary classifier, and (ii) a comparator function h that given two nearby samples, predicts which sample has the higher value of the unknown function v. Loss terms are used to ensure that all training samples x are a local maxima of v, according to h and satisfy c(x)=1. Therefore, c and h provide training signals to each other: a point x' in the vicinity of x satisfies c(x)=-1 or is deemed by h to be lower in value than x. We present an algorithm, show an example where it is more efficient to use local maxima as an indicator function than to employ conventional classification, and derive a suitable generalization bound. Our experiments show that the method is able to outperform one-class classification algorithms in the task of anomaly detection and also provide an additional signal that is extracted in a completely unsupervised way.

研究の動機と目的

• 教師なしデータから未知の価値関数 $v$ の局所的最大値集合を、いかなる教師信号を用いずに学習すること。
• 1クラス分類の限界を克服するため、単なるクラス所属性を超えて品質や最適性を捉える別個の価値関数を導入すること。
• 分類器 $c$ と比較関数 $h$ が、局所的近傍情報を利用してお互いに相互に監視する共同訓練メカニズムを開発すること。
• 提案手法の一般化バウンドを提供し、局所的最大値の学習における理論的信頼性を保証すること。

提案手法

• 本手法は2つの関数を学習する：制約を満たす点（つまり、$c(\mathbf{x})=1$）を特定する2値分類器 $c$ と、2つの近くの点のうち、未知関数 $v$ における値がより高い方を予測する比較関数 $h$。
• 学習では、各訓練点 $\mathbf{x}$ が局所的最大値であることを強制する：$\mathbf{x}$ の近傍 $N_\epsilon(\mathbf{x})$ 内のすべての $\mathbf{u}$ に対して、$v(\mathbf{u}) < v(\mathbf{x})$ が成り立つ必要があることが、$h$ を通じて検証される。
• 分類器 $c$ は、$h$ によって $v(\mathbf{x}') \geq v(\mathbf{x})$ と予測される近傍点 $\mathbf{x}'$ や、$c(\mathbf{x}') = -1$ を満たす点を拒否するように学習され、これにより負の信号が形成される。
• 価値関数 $v$ は単調性の曖昧さのため直接学習されない。代わりに、2点間の相対的値順序を予測する微分可能な比較関数 $h$ が学習される。
• 対照的損失とマージンベース損失を用いた共同最適化フレームワークにより、$h$ が近くの点を正しく順序付けし、$c$ が局所的最大値を正しく分類することを保証する。
• PACベイジアンアプローチを用いて一般化をバウンドし、バウンドはモデルパラメータの事前分布と事後分布のKLダイバージェンスに依存する。

実験結果

リサーチクエスチョン

• RQ1 共同で訓練された分類器と比較関数は、教師なし設定において、未知の価値関数の局所的最大値を効果的に同定できるか？
• RQ2 分類器 $c$ と比較関数 $h$ 間の共同訓練メカニズムは、標準的な1クラス分類と比較して性能をどのように向上させるか？
• RQ3 提案手法の一般化行動はどのようなものか？理論的にバウンド可能か？
• RQ4 比較関数 $h$ は、クラス所属性を超えて、画像品質や適合度といった意味のある教師なし信号を提供できるか？

主な発見

• 提案手法は、ベンチマークデータセットにおける異常検出タスクで、標準的な1クラス分類アルゴリズムを上回る性能を示し、検出精度が向上している。
• 比較関数 $h$ は、分類器 $c$ が捉えるクラス所属性に加え、画像品質などの明確な信号を効果的に捉えている。
• 共同訓練メカニズムにより、相互監視が可能である：$h$ が近傍点を高く順位付けする場合、$c$ に対して負の信号が供給され、$c$ は $h$ のための有効な局所近傍を特定するのを支援する。
• PACベイジアン理論を用いて一般化バウンドが導出され、モデルの複雑さとデータサイズに比例するバウンドが得られ、良好な一般化性能が保証されている。
• 価値関数 $v$ の未知の単調変換に対しても、本手法は安定した学習が可能である。これは、$v$ を直接学習する代わりに $h$ を直接学習するためである。
• 実験結果から、$c$ と $h$ の組み合わせが、$c$ を単独で使用する場合よりも、特に分布外サンプルの検出において優れた一般化性能を示している。