[論文レビュー] SurReal: Complex-Valued Learning as Principled Transformations on a Scaling and Rotation Manifold

Rudrasis Chakraborty, Yifei Xing+1 more|arXiv (Cornell University)|Oct 18, 2019

Cognitive Science and Education Research参考文献 47被引用数 4

ひとこと要約

本稿では、スケーリングと回転のリーマン多様体としての複素数をモデル化することで、等変な畝りと不変な距離変換を可能にする幾何学的ディープラーニングフレームワーク、SurRealを提案する。この手法は、MSTARおよびRadioMLで最先端の性能を達成しており、実数値ベースラインの0.7%、複素数値ベースラインの58%のサイズにとどまっている。

ABSTRACT

Complex-valued data is ubiquitous in signal and image processing applications, and complex-valued representations in deep learning have appealing theoretical properties. While these aspects have long been recognized, complex-valued deep learning continues to lag far behind its real-valued counterpart. We propose a principled geometric approach to complex-valued deep learning. Complex-valued data could often be subject to arbitrary complex-valued scaling; as a result, real and imaginary components could co-vary. Instead of treating complex values as two independent channels of real values, we recognize their underlying geometry: We model the space of complex numbers as a product manifold of non-zero scaling and planar rotations. Arbitrary complex-valued scaling naturally becomes a group of transitive actions on this manifold. We propose to extend the property instead of the form of real-valued functions to the complex domain. We define convolution as weighted Fréchet mean on the manifold that is equivariant to the group of scaling/rotation actions, and define distance transform on the manifold that is invariant to the action group. The manifold perspective also allows us to define nonlinear activation functions such as tangent ReLU and G-transport, as well as residual connections on the manifold-valued data. We dub our model SurReal, as our experiments on MSTAR and RadioML deliver high performance with only a fractional size of real-valued and complex-valued baseline models.

研究の動機と目的

• 任意の複素数スケーリングに起因する実部と虚部の共変性を考慮した、実数値ディープラーニングの複素数値データ処理における限界を解消すること。
• 複素数を独立した実部／虚部チャンネルとして扱うのでなく、スケーリングと回転の非ユークリッド的多様体上の点として扱う、原理的で整合性のある幾何的フレームワークの構築。
• ネットワークアーキテクチャに直接、複素数値スケーリングへの不変性を埋め込み、データ増強を回避し、一般化性能を向上させること。
• 複素数多様体幾何に特化した新たなレイヤー関数（重み付きフレチェット平均畝り、距離変換、多様体値活性化関数など）の設計。

提案手法

• 非ゼロスケーリング（R>0）と平面的回転（S¹）の積多様体として複素数の空間をモデル化し、リーマン多様体上のリー群作用を形成する。
• 畝りをこの多様体上の重み付きフレチェット平均として定義し、複素数値スケーリングおよび回転に対して等変性を保証する。
• 特徴マップとそのフレチェット平均との間の多様体距離を計算する距離変換レイヤーを導入し、群作用に対して不変性を達成する。
• 多様体上に定義された非線形活性化関数（接線ReLU、G輸送）を提案し、幾何的構造を保持する。
• 指数写像と対数写像を用いて多様体上に残差接続を構築し、深層アーキテクチャの実現を可能にする。
• 得られたSurRealモデルを用いて、MSTARおよびRadioMLにおける複素数値データ分類を実施し、距離変換後に実数値レイヤーを適用する。

実験結果

リサーチクエスチョン

• RQ1 データ増強に依存せずに、任意の複素数値スケーリングに対して複素数値ディープラーニングを不変にするにはどうすればよいか？
• RQ2 より効率的で原理的である学習に利用可能な、複素数値データに内在する幾何的構造は何か？
• RQ3 複素数のリーマン多様体上で畝りと活性化関数を再定義することで、等変性と不変性を達成できるか？
• RQ4 標準的な実数値または複素数値ベースラインと比較して、多様体ベースの演算は、精度とモデル効率の面でどのように差がつくか？
• RQ5 幾何的原理に基づくディープラーニングモデルは、顕著に少ないパラメータ数で高い性能を達成できるか？

主な発見

• RadioMLデータセットにおいて、SNR = 10の条件下で76.1%のテスト精度を達成し、実数値ベースライン（72.7%）を上回っているが、モデルサイズはその0.7%にとどまっている。
• 同じSNR条件下で、複素数値ベースライン（76.3%）と同等の性能を発揮しているが、パrameter数はその58%にまで削減されている。
• 複素数値スケーリングへの内蔵された不変性により、データ増強の必要がなくなり、トレーニング時間が短縮された。
• MSTAR SARデータセットにおいて、実数値および複素数値ベースラインと比較して、顕著に小型なアーキテクチャで高い性能を発揮した。
• 多様体ベースの畝りと距離変換の使用により、大きさと位相の両方の情報を効果的に捉える効率的な表現学習が可能になった。
• 幾何的に一貫性のある非線形関数（接線ReLUやG輸送）の設計が可能となり、これらは標準的なユークリッド空間では実現不可能である。