[論文レビュー] Grassmannian Learning: Embedding Geometry Awareness in Shallow and Deep Learning

Jiayao Zhang, Guangxu Zhu+2 more|arXiv (Cornell University)|Aug 7, 2018

Spatial Cognition and Navigation被引用数 37

ひとこと要約

本論文は、部分空間からの幾何的構造を浅い学習および深い学習モデルの両方に統合するための統一的フレームワークとしてグレアマン学習を導入する。部分空間の自然な表現としてのグレアマン多様体を活用することで、画像集合分類、ドメイン適応、行列補完といったタスクにおける性能向上を実現し、幾何的最適化とカーネル法を用いることで、従来手法に比べてロバスト性と精度の向上が実証された。

ABSTRACT

Modern machine learning algorithms have been adopted in a range of signal-processing applications spanning computer vision, natural language processing, and artificial intelligence. Many relevant problems involve subspace-structured features, orthogonality constrained or low-rank constrained objective functions, or subspace distances. These mathematical characteristics are expressed naturally using the Grassmann manifold. Unfortunately, this fact is not yet explored in many traditional learning algorithms. In the last few years, there have been growing interests in studying Grassmann manifold to tackle new learning problems. Such attempts have been reassured by substantial performance improvements in both classic learning and learning using deep neural networks. We term the former as shallow and the latter deep Grassmannian learning. The aim of this paper is to introduce the emerging area of Grassmannian learning by surveying common mathematical problems and primary solution approaches, and overviewing various applications. We hope to inspire practitioners in different fields to adopt the powerful tool of Grassmannian learning in their research.

研究の動機と目的

• 部分空間からの幾何的構造を機械学習に統合するための体系的アプローチとしてグレアマン学習を導入すること。
• 理論的多様体理論と信号処理およびAI分野における実用的応用の間のギャップを埋めること。
• グレアマン多様体上における浅い学習および深い学習の両パラダイムにおける代表的手法と応用を調査すること。
• 実世界の学習タスクにおけるロバスト性と性能向上を図るために、実務家がグレアマン技術を採用するよう促すこと。
• 幾何的注意を払う深層学習およびロバスト機械学習分野における未解決の課題と今後の方向性を強調すること。

提案手法

• 高次元空間における部分空間をモデル化するため、グレアマン多様体を用いる。特に、低ランク性や正規直交性制約を有するデータに適している。
• 部分空間制約下での低ランク行列補完や判別分析などの問題を解くために、グレアマン最適化を採用する。
• 地図間のジオデシックパスを活用することで、ソースドメインとターゲットドメインの部分空間をグレアマン多様体として表現する領域適応を実現するGeodesic Flow Kernel (GFK) などのカーネル法を適用する。
• 特徴表現における幾何的構造を保持するため、グレアマン多様体上に直接構築された深層ニューラルネットワークアーキテクチャを導入する。
• 非ユークリッド多様体上での勾配ベース学習を可能にするために、指数写像および対数写像などのリーマン最適化ツールを活用する。
• グレアマン構造上での効率的計算を可能にするために、コサイン・サイン分解および対称正定値 (SPD) 行列ツールを用いる。

実験結果

リサーチクエスチョン

• RQ1 部分空間構造を持つデータは、どのようにグレアマン多様体を用いて自然にモデル化され、学習性能が向上するか？
• RQ2 浅いグレアマン学習（例：GDA, SSC）と深いグレアマン学習（例：ジオデシック畳み込みニューラルネットワーク、多様体ベースDNN）の主な違いと相乗効果は何か？
• RQ3 グレアマン学習は、微小な摂動や敵対的攻撃に対してどのようにロバスト性を向上させるか？
• RQ4 グレアマン多様体からの幾何的事前知識は、一般化性能を向上させるために、どのように深層ニューラルネットワークに効果的に埋め込まれるか？
• RQ5 実用的応用において、グレアマン多様体上での学習に最も効果的な最適化法およびカーネル法は何か？

主な発見

• グレアマン判別分析 (GDA) は、顔の表情分類において従来手法よりも優れた部分空間不変性モデル化を達成した。
• ジオデシックフローカーネル (GFK) は、ソースドメインとターゲットドメインの部分空間間のジオデシックパスを活用することで、効果的なドメイン適応を実現した。
• グレアマン最適化による低ランク行列補完は、Netflixチャレンジのようなスパースデータ環境において、レコメンデーション精度を向上させた。
• グレアマン深層学習モデルは、部分空間表現の固有の安定性のおかげで、微小な摂動に対して優れたロバスト性を示した。
• ManOpt や pyManOpt などのリーマン最適化ツールの統合により、グレアマン学習アルゴリズムの実用的導入とテストが可能になった。
• グレアマン学習は、幾何的深層学習の基盤的構成要素として機能し、3次元ビジョン、グラフ学習、インテリジェントMIMOシステム分野における成長著しい可能性を秘めている。