[論文レビュー] Surreal: Complex-Valued Deep Learning as Principled Transformations on a Rotational Lie Group.

Rudrasis Chakraborty, Yifei Xing+1 more|arXiv (Cornell University)|Oct 18, 2019

Image Retrieval and Classification Techniques被引用数 5

ひとこと要約

本論文は、複素数を回転リーダーマニフォールド上の変換としてモデル化することで、重み付きフレシェ平均を用いた等長畳み込みと不変距離変換を可能にする幾何学的ディープラーニングフレームワーク、Surrealを提案する。この手法は、実数または複素数のベースラインと比較して顕著に小型なモデルサイズで、MSTARおよびRadioMLにおいて最先端の性能を達成する。

ABSTRACT

Complex-valued data is ubiquitous in signal and image processing applications, and complex-valued representations in deep learning have appealing theoretical properties. While these aspects have long been recognized, complex-valued deep learning continues to lag far behind its real-valued counterpart. We propose a principled geometric approach to complex-valued deep learning. Complex-valued data could often be subject to arbitrary complex-valued scaling; as a result, real and imaginary components could co-vary. Instead of treating complex values as two independent channels of real values, we recognize their underlying geometry: We model the space of complex numbers as a product manifold of non-zero scaling and planar rotations. Arbitrary complex-valued scaling naturally becomes a group of transitive actions on this manifold. We propose to extend the property instead of the form of real-valued functions to the complex domain. We define convolution as weighted Frechet mean on the manifold that is equivariant to the group of scaling/rotation actions, and define distance transform on the manifold that is invariant to the action group. The manifold perspective also allows us to define nonlinear activation functions such as tangent ReLU andG-transport, as well as residual connections on the manifold-valued data. We dub our modelSurReal, as our experiments on MSTAR and RadioML deliver high performance with only a fractional size of real-valued and complex-valued baseline models.

研究の動機と目的

• 信号および画像処理分野における理論的利点が指摘されているものの、複素数値ディープラーニングの発展が著しく不足している現状に取り組む。
• 複素数の実部と虚部を独立したチャネルとして扱うという制限を克服し、それらの内在的幾何構造をモデル化する。
• 多様体幾何学を用いて、実数値ディープラーニングの操作を複素数ドメインに原理的かつ自然に拡張するフレームワークを構築する。
• 群の等長性と不変性に基づく操作を用いることで、複素数値データに特化した効率的かつパラメータ効率の良いモデルを実現する。
• MSTARやRadioMLなどの実世界のデータセットにおいて、モデルサイズを削減しつつも優れた性能を示すことを実証する。

提案手法

• 非ゼロ複素数の空間を、非ゼロスケーリングと平面的回転の積多様体としてモデル化し、回転リーマン群を構成する。
• 畳み込みを複素数多様体上の重み付きフレシェ平均として定義し、スケーリングおよび回転の群作用に対して等長性を保証する。
• スケーリング／回転の群作用に対して不変な距離変換を導入する。
• 幾何的整合性を保つために、接空間ReLUやG輸送を含む多様体値非線形活性化関数を設計する。
• 多様体値データに適応した残差接続を実装し、学習の安定性と表現力の向上を図る。
• 実数値操作の性質を複素数ドメインに拡張する形で、その形式ではなく性質を拡張することで、統一的フレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 微分幾何学を用いて複素数値ディープラーニングを形式化し、データの内在的構造を保存することは可能か？
• RQ2 複素数のスケーリングおよび回転に対して不変または等長な操作は何か？ そして、それらはディープラーニングフレームワークでどのように実装可能か？
• RQ3 複素数多様体上の幾何操作は、標準的な実数または複素数値ネットワークと比較して、より効率的かつ正確なモデルをもたらすか？
• RQ4 多様体に基づく活性化関数および残差接続は、複素数値信号処理タスクにおける性能向上にどのように寄与するか？
• RQ5 幾何的原理を用いることで、複素数値ベンチマークにおいてモデルサイズを削減しつつ、精度を維持または向上させることは可能か？

主な発見

• Surrealは、実数または複素数のベースラインモデルと比較して、パラメータ数の僅か一部でMSTARレーダ画像分類ベンチマークで最先端の性能を達成する。
• モデルはRadioMLデータセットにおいても高い精度を示し、実数値および複素数値のベースラインを顕著に上回り、モデルサイズを大幅に削減している。
• 群の等長畳み込みを用いることで、複素数値データの内在的対称性を活用したパラメータ効率の良い学習が可能になる。
• 接空間ReLUやG輸送といった多様体ベースの活性化関数は、幾何的整合性を保ち、学習の安定性を向上させる。
• 複素数多様体上の距離変換はスケーリングおよび回転に対して不変であるため、任意の複素数変換下でも頑健な特徴表現が可能になる。
• 多様体設定に適応した残差接続は最適化と一般化を改善し、最小限のパラメータで高い性能を発揮する要因となっている。