[論文レビュー] Meta-Learning for Relative Density-Ratio Estimation

Atsutoshi Kumagai, Tomoharu Iwata+1 more|arXiv (Cornell University)|Jul 2, 2021

Anomaly Detection Techniques and Applications参考文献 47被引用数 4

ひとこと要約

本稿では、関連するソースデータセットからの知識を活用することで、少数のショットインスタンスからも正確に相対的密度比推定（DRE）を実行できるメタラーニングフレームワークを提案する。ニューラルネットワークベースのインスタンス埋め込みと微分可能で閉形式の線形モデルを用いることで、高速かつ安定した適応が可能となり、相対的DRE、データセット比較、外れ値検出の各タスクで既存手法を上回る性能を発揮する。

ABSTRACT

The ratio of two probability densities, called a density-ratio, is a vital quantity in machine learning. In particular, a relative density-ratio, which is a bounded extension of the density-ratio, has received much attention due to its stability and has been used in various applications such as outlier detection and dataset comparison. Existing methods for (relative) density-ratio estimation (DRE) require many instances from both densities. However, sufficient instances are often unavailable in practice. In this paper, we propose a meta-learning method for relative DRE, which estimates the relative density-ratio from a few instances by using knowledge in related datasets. Specifically, given two datasets that consist of a few instances, our model extracts the datasets' information by using neural networks and uses it to obtain instance embeddings appropriate for the relative DRE. We model the relative density-ratio by a linear model on the embedded space, whose global optimum solution can be obtained as a closed-form solution. The closed-form solution enables fast and effective adaptation to a few instances, and its differentiability enables us to train our model such that the expected test error for relative DRE can be explicitly minimized after adapting to a few instances. We empirically demonstrate the effectiveness of the proposed method by using three problems: relative DRE, dataset comparison, and outlier detection.

研究の動機と目的

• 両方の分布から少数のインスタンスしか入手できない状況における相対的密度比推定の課題に対処すること。
• 最小限のサポートインスタンスで未学習のターゲットデータセットに、関連するソースデータセットからの有効な知識転送を可能にすること。
• エンドツーエンドの勾配降下法による学習を可能にする、微分可能で閉形式の相対的DREソリューションを開発すること。
• メタラーニングを用いて適応後の期待テスト誤差を明示的に最小化すること。
• 外れ値検出やデータセット比較を含む多様な応用分野において、堅牢な性能を示すことを実証すること。

提案手法

• 各データセットをそのサポートインスタンスから、置換不変なニューラルネットワークを用いて潜在ベクトル表現に符号化する。
• それぞれのデータセットの潜在ベクトルを用いて、個々のインスタンスを埋め込み空間にマップすることで、インスタンス固有の適応を可能にする。
• 埋め込み空間における相対的密度比を線形関数としてモデル化し、安定性と高速性を実現する閉形式解を用いる。
• 勾配ベース最適化を用いて、適応後の相対的DREの期待テスト誤差を最小化することで、エンドツーエンドのモデル学習を実現する。
• すべてのデータセットに共通するパラメータを共有するメタラーニングフレームワークを採用し、ソースタスクからターゲットタスクへの知識転送を可能にする。
• バックプロパゲーションを適応プロセス全体に適用可能な微分可能な閉形式解を用いることで、汎化性能の明示的最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 少数のインスタンスしか入手できない状況において、メタラーニングが相対的密度比推定の性能向上に寄与するか？
• RQ2 関連するソースデータセットからの知識は、未学習のターゲットデータセットにおけるショットインスタンス用相対的DREに、どの程度効果的に転送可能か？
• RQ3 埋め込み空間における線形モデルの微分可能で閉形式の解は、数値最適化と比較して、より優れた汎化性能と高速な適応を実現するか？
• RQ4 多様なデータ分布にわたる外れ値検出やDREの分野において、本手法は既存手法と比較して、どの程度の堅牢性と性能を示すか？
• RQ5 潜在埋め込み関数や適応メカニズムといったアーキテクチャ的要素が、全体の性能に及ぼす影響は何か？

主な発見

• 提案手法は、外れ値検出タスクにおいて、全ベンチマークデータセットの平均AUCが75.27%に達し、比較対象の13の手法をすべて上回った。
• IoTデータセットでは、正常インスタンスのサポートが少数であったにもかかわらず96.94%のAUCを達成し、優れたショットインスタンス汎化性能を示した。
• アブレーションスタディの結果、潜在埋め込み関数を削除した場合（NoLatent）の平均AUCは74.70%に低下し、その重要性が確認された。
• 最先端のPU学習手法を上回り、相対パラメータαの異なる値に対しても堅牢な性能を示した。
• 微分可能学習による違いのおかげで、数値最適化と比較して、より高速かつ安定した適応が可能となり、汎化性能が向上した。
• 相対的DREおよびデータセット比較の両タスクで最先端の性能を達成し、多様な応用分野における有効性が検証された。