[論文レビュー] Streaming View Learning

Chang Xu, Dacheng Tao+1 more|arXiv (Cornell University)|Apr 28, 2016

Sparse and Compressive Sensing Techniques参考文献 9被引用数 10

ひとこと要約

本稿では、再訓練を避けて、安定した過去の視覚関数部分空間の組み合わせ重みを微調整することで、新規の視覚がストリーミングで入ってくる状況において、マルチビュー学習モデルを効率的に更新するStreaming View Learning (SVL) の手法を提案する。この手法は、最小限の計算コストで顕著な性能向上を達成し、実世界のデータセットにおけるクラスタリングNMIで、既存手法を最大20%上回る性能を発揮する。

ABSTRACT

An underlying assumption in conventional multi-view learning algorithms is that all views can be simultaneously accessed. However, due to various factors when collecting and pre-processing data from different views, the streaming view setting, in which views arrive in a streaming manner, is becoming more common. By assuming that the subspaces of a multi-view model trained over past views are stable, here we fine tune their combination weights such that the well-trained multi-view model is compatible with new views. This largely overcomes the burden of learning new view functions and updating past view functions. We theoretically examine convergence issues and the influence of streaming views in the proposed algorithm. Experimental results on real-world datasets suggest that studying the streaming views problem in multi-view learning is significant and that the proposed algorithm can effectively handle streaming views in different applications.

研究の動機と目的

• 従来のバッチ設定とは異なり、視覚が逐次的に到着するストリーミング環境におけるマルチビュー学習の課題に対処すること。
• 新規の視覚が到着する際の再訓練に伴う高い計算コストと性能の低下を克服すること。
• 過去の視覚から得られる部分空間が安定していると仮定し、新規の視覚に対しては、視覚関数の再訓練ではなく、組み合わせ重みの更新のみで効率的なモデル適応を実現すること。
• 収束性と推定誤差の理論的分析を通じて、ストリーミング更新戦略の妥当性を裏付けること。
• ストリーミング視覚を伴う実世界のクラスタリングおよび分類タスクにおいて、実用的効果を実証すること。

提案手法

• 過去の視覚で訓練された視覚関数の部分空間がストリーミング処理中に安定していると仮定する。
• 新規の視覚が到着した際には、すべての視覚関数を再訓練する代わりに、既存の視覚関数部分空間の組み合わせ重みのみを微調整する。
• 共有表現を用いた潜在的部分空間最適化としてマルチビュー学習問題を定式化し、視覚固有の関数の重み付き統合を用いる。
• 再構成誤差を最小化するとともに、過去のモデル安定性を保持するように、反復的な更新ルールを導入する。
• 理論的分析により、アルゴリズムの収束性とストリーミング視覚条件下での推定誤差の上限を証明する。
• ストリーミングの形で手法を適用する：初期視覚でベースモデルを初期化し、その後、微調整された重みを用いて新規視覚を段階的に更新する。

実験結果

リサーチクエスチョン

• RQ1 新規の視覚が逐次的に到着する状況で、完全な再訓練を伴わずにマルチビュー学習モデルを効率的に更新できるか。
• RQ2 過去の視覚関数部分空間の安定性が、インクリメンタルなモデル更新の性能と収束性に与える影響は何か。
• RQ3 ベースモデルを学習する際に使用する初期視覚の数が、ストリーミングアルゴリズムの最終的性能に与える影響は何か。
• RQ4 視覚のストリーミング順序が、提案手法の性能にどれほど感度を示すか。
• RQ5 ストリーミング視覚学習アプローチは、バッチマルチビュー学習と比較して、クラスタリングおよび分類性能をどの程度向上させるか。

主な発見

• 提案されたStreaming View Learning (SVL) アルゴリズムは、PASCAL VOC’07データセット（8視覚）において、単一視覚手法を最大20%、マルチビューFLSSSを5%上回るクラスタリング性能を実現する。
• SVLは、処理される視覚の数が増えるにつれて安定的かつ一貫性のある性能向上を示し、8視覚でNMIが0.554から0.571に上昇する。
• SVLの性能は、異なるストリーミング視覚順序に対しても頑健であり、ランダムな視覚順序での分類結果において僅かな変動しか示さない。
• ベースモデルをより多くの視覚で初期化すると、より良い性能が得られ、初期化が不十分な場合は推定誤差が大きく、改善が限定的になる。
• 潜在次元 $d$ を増加させることで表現力が向上し、手書き数字データで $d=150$ 時にNMIが0.871に達するなど、安定的かつスケーラブルな性能を示す。
• 理論的分析により収束性が確認され、推定誤差の上限が示され、ストリーミング条件下で組み合わせ重みのみを微調整することが妥当であることを裏付ける。