[論文レビュー] Learning from Multiple Outlooks

Maayan Harel, Shie Mannor|arXiv (Cornell University)|Apr 30, 2010

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 72

ひとこと要約

本稿では、複数の特徴空間（アウトルック）からのデータを最適なアフィン変換によって一致させることで分類性能を向上させる、Multiple Outlook Learning (MOMAP) の手法を紹介する。この手法は、経験的モーメントを一致させる変換により、異なるセンサーや特徴表現間で知識を転送し、ベースライン分類器と比較して最大5.9%の誤差率低減を達成する。

ABSTRACT

We propose a novel problem formulation of learning a single task when the data are provided in different feature spaces. Each such space is called an outlook, and is assumed to contain both labeled and unlabeled data. The objective is to take advantage of the data from all the outlooks to better classify each of the outlooks. We devise an algorithm that computes optimal affine mappings from different outlooks to a target outlook by matching moments of the empirical distributions. We further derive a probabilistic interpretation of the resulting algorithm and a sample complexity bound indicating how many samples are needed to adequately find the mapping. We report the results of extensive experiments on activity recognition tasks that show the value of the proposed approach in boosting performance.

研究の動機と目的

• サンプル同士の対応関係が存在しない、複数の異なる特徴空間（アウトルック）に分かれたデータから、単一の分類タスクを学習する課題に対処すること。
• 各アウトルックからラベル付きおよびラベルなしデータを活用し、単一のアウトルックで達成可能な性能を超える分類性能を向上させる手法を開発すること。
• 経験的分布のモーメントマッチングを通じて、アフィン写像を学習することにより、アウトルック間の知識転送を可能にすること。
• 写像推定プロセスのサンプル複雑度バウンドを理論的に保証すること。
• マルチセンサーアクティビティ認識やクロスリンガルドキュメント分類を含む、実世界のシナリオにおける手法の有効性を示すこと。

提案手法

• 各ソースアウトルックからターゲットアウトルックへの最適アフィン変換を、分布の一次および二次モーメント（平均および共分散）を一致させることで計算する。
• 変換はクラス内での等長性を保ち、マッピングプロセス中にクラス構造が維持されることを保証する。
• モーメントマッチングから導かれる閉形式解を用いるため、計算が効率的でスケーラブルである。
• 確率的解釈に基づいており、特定の仮定の下でモーメントマッチング目的関数が尤度最大化に相当することを示している。
• 複数のアウトルックを扱うために、反復的に各アウトルックを共通のターゲット空間に一致させるように拡張している。
• 異なる特徴次元、サンプリングレート、ノイズや並べ替えられた特徴に対応できるように、フレームワークを柔軟に適応可能としている。

実験結果

リサーチクエスチョン

• RQ1 特徴表現が異なり、サンプル間の対応関係が存在しない複数のアウトルック間で、知識を効果的に転送できるか？
• RQ2 特徴の対応関係を仮定せずに、経験的分布の一致を通じて複数のアウトルックの共有表現を学習する方法は何か？
• RQ3 ラベル付きおよびラベルなしデータのみを用いて、複数のアウトルックを共通空間にマップする最適な方法は何か？
• RQ4 提案手法のモーメントマッチングアプローチは、標準的なベースラインと比較して、分類精度およびロバスト性においてどのように異なるか？
• RQ5 写像推定プロセスのサンプル複雑度に対して、どのような理論的保証を提供できるか？

主な発見

• 異なるセンサーを用いた2つのアウトルックにおいて、MOMAPは5%のラベル付きデータのみを用いても、TRG分類器と比較して平均BERを4.5%（±2.7%）低減した。
• 32Hzと30Hzという異なるサンプリングレートを用いた場合、MOMAPは5%のラベル付きデータを用いてTRGベースラインと比較して、平均でBERを5.9%（±2.4%）低減した。
• ノイズ特徴を追加した状況でも、OPT分類器を上回る性能を示し、不要または破損した特徴に対してロバストであることが示された。
• 並べ替えられたりノイズが加えられた特徴を用いた実験では、走行アクティビティにおいて性能向上が顕著に現れ、複雑な表現からも有用なパターンを抽出できる能力を示している。
• MOMAPアルゴリズムは、特徴次元、ノイズ、サンプリングレートが異なる多様な実験設定において、一貫して分類精度を向上させた。
• 特にデータが少ない状況でも優れた一般化性能を示しており、複数のアウトルックからの知識転送による効果的な正則化が実現されていることが示唆された。