[論文レビュー] Equivariance versus Augmentation for Spherical Images

Jan E. Gerken, Oscar Carlsson+4 more|arXiv (Cornell University)|Feb 8, 2022

Medical Image Segmentation Techniques被引用数 5

ひとこと要約

この論文は、球面上MNISTデータセット上で、群不変な球面畳み込みニューラルネットワーク（S2CNNs）と回転データ拡張を用いた非不変なCNNの性能を比較している。回転不変分類タスクでは、データ拡張によってS2CNNの性能を再現できるが、本質的に不変なセマンティックセグメンテーションタスクでは、不変ネットワークが非不変モデルを著しく上回り、同じ精度での訓練が速く、最適化された推論環境では遅延が低いことがわかった。

ABSTRACT

We analyze the role of rotational equivariance in convolutional neural networks (CNNs) applied to spherical images. We compare the performance of the group equivariant networks known as S2CNNs and standard non-equivariant CNNs trained with an increasing amount of data augmentation. The chosen architectures can be considered baseline references for the respective design paradigms. Our models are trained and evaluated on single or multiple items from the MNIST or FashionMNIST dataset projected onto the sphere. For the task of image classification, which is inherently rotationally invariant, we find that by considerably increasing the amount of data augmentation and the size of the networks, it is possible for the standard CNNs to reach at least the same performance as the equivariant network. In contrast, for the inherently equivariant task of semantic segmentation, the non-equivariant networks are consistently outperformed by the equivariant networks with significantly fewer parameters. We also analyze and compare the inference latency and training times of the different networks, enabling detailed tradeoff considerations between equivariant architectures and data augmentation for practical problems. The equivariant spherical networks used in the experiments are available at https://github.com/JanEGerken/sem_seg_s2cnn .

研究の動機と目的

• 球面画像タスクにおいて、群不変ネットワークがデータ拡張に比べて本質的な利点を有するかどうかを調査すること。
• 球面データにおけるディープラーニングにおいて、アーキテクチャのインダクティブバイアス（不変性）とデータ拡張のトレードオフを解明すること。
• 回転不変（分類）と本質的に不変（セマンティックセグメンテーション）のタスクにおける性能差を評価すること。
• 訓練時間、推論遅延、スループットを測定し、不変および非不変モデル間の実用的トレードオフを評価すること。
• 球面上でのセマンティックセグメンテーションに適した、出力が不変であるS2CNNの詳細な実装と理論的基盤を提供すること。

提案手法

• 任意のリー群Gに対して一般化された新しい群不変CNN層を提案し、球面上のセマンティックセグメンテーションに応用する。
• S2CNNアーキテクチャを拡張し、最終層に不変出力を保証する構造を追加し、付録Aで数学的に証明した。
• 球面上MNISTの投影画像に対して、回転データ拡張を段階的に増加させた非不変CNNを学習する。
• 分類およびセマンティックセグメンテーションタスクの両方において、球面上のMNISTおよびFashionMNISTデータセットを用いる。
• Nvidia T4 GPU上で、S2CNNおよび非不変CNNモデルの推論遅延とスループットをプロファイリングする。
• S2CNN（回転なしで学習）と拡張済み非不変CNN（回転ありで学習）が同じ性能に達するまでの総訓練時間を測定する。

実験結果

リサーチクエスチョン

• RQ1 S2CNNの回転不変性は、球面画像分類タスクにおいて、非不変CNNと比較してデータ拡張に比べて性能優位性をもたらすか？
• RQ2 セマンティックセグメンテーションタスクにおいて、非不変ネットワークと不変ネットワークの性能格差を、データ拡張がどの程度埋め合わせられるか？
• RQ3 同じ性能水準で比較した場合、S2CNNと拡張済み非不変CNNの訓練時間および推論遅延はどのように異なるか？
• RQ4 セグメンテーションタスクの複雑さが増した場合でも、不変性の利点は維持されるか？
• RQ5 S2CNNの推論パイプラインの中で、性能ボトルネックはどこにあり、最適化のターゲットを特定できるか？

主な発見

• 回転不変分類タスクでは、非不変CNNが広範なデータ拡張と大きなアーキテクチャを用いることで、小さなS2CNNの性能に匹敵する。
• 本質的に不変なセマンティックセグメンテーションタスクでは、非不変モデルにデータ拡張を適用しても、S2CNNに比べて一貫して性能が劣り、最大500万件の拡張データでも同様の結果であった。
• 目標精度約97.5%で、S2CNNは回転なしデータで15時間で学習完了したが、拡張済み非不変CNNは97.49%に達するまでに26時間かかった。
• S2CNNはNvidia T4でバッチサイズ7で1秒間に14.6サンプルのスループットを達成したが、非不変CNNはバッチサイズ60で1秒間に682サンプルを達成し、顕著な遅延差が生じた。
• 推論プロファイリングの結果、S2CNNの最終層における最大のSO(3)テンソル演算が主な性能ボトルネックであることが判明し、最適化のターゲットが特定された。
• 1推論あたりの遅延が高めでも、同じ性能に達するまでの総訓練時間がS2CNNの方が短く、実用的な効率的利点があることが示された。