[論文レビュー] Rotational 3D Texture Classification Using Group Equivariant CNNs

Vincent Andrearczyk, Adrien Depeursinge|arXiv (Cornell University)|Oct 16, 2018

Medical Image Segmentation Techniques参考文献 10被引用数 8

ひとこと要約

本稿では、立方体の回転群 O（24 種類の対称性）の回転等変性を備えた 3D グループ等変性畳み込みニューラルネットワーク（G-CNN）を提案し、医用画像のパターンに類似した合成 3D テクスチャの分類を目的としている。群畳み込みと G-プーリングを活用することで、90 度回転に対するロバスト性が向上したが、任意の回転に対しては困難を示しており、医用画像における 3D テクスチャ解析の分野で、より細かい回転カバレッジの必要性が浮き彫りになった。

ABSTRACT

Convolutional Neural Networks (CNNs) traditionally encode translation equivariance via the convolution operation. Generalization to other transformations has recently received attraction to encode the knowledge of the data geometry in group convolution operations. Equivariance to rotation is particularly important for 3D image analysis due to the large diversity of possible pattern orientations. 3D texture is a particularly important cue for the analysis of medical images such as CT and MRI scans as it describes different types of tissues and lesions. In this paper, we evaluate the use of 3D group equivariant CNNs accounting for the simplified group of right-angle rotations to classify 3D synthetic textures from a publicly available dataset. The results validate the importance of rotation equivariance in a controlled setup and yet motivate the use of a finer coverage of orientations in order to obtain equivariance to realistic rotations present in 3D textures.

研究の動機と目的

• 医用画像で一般的に見られる回転変動に対して、グループ等変性畳み込みニューラルネットワーク（G-CNN）が 3D テクスチャ分類のロバスト性を向上させられるかを調査すること。
• G-畳み込みによる組み込み的回転等変性と、G-プーリングによる不変性が、限られた訓練データ下での分類精度に与える影響を評価すること。
• O 群（24 種類の直交回転）が、現実的な 3D テクスチャパターンに対して十分な不変性を提供するか、それとも高次の回転対称性が必要かを評価すること。
• 制御された回転条件下で、標準的な 3D CNN と G-CNN を合成 3D テクスチャデータセットに対して比較すること。
• 方向性感受性と局所的回転不変性が、方向特性を有するテクスチャクラスを区別する上で果たす役割を分析すること。

提案手法

• 立方体の回転群 O（24 種類の回転保存変換）と O_h 群（反射を含む）に基づく 3D グループ等変性畳み込みニューラルネットワーク（G-CNN）を用い、特徴学習に回転対称性を組み込む。
• 回転チャネル間で重みを共有する G-畳み込みを採用し、入力の回転が特徴マップの回転に対応する等変性を維持する。
• 方向性チャネル上で G-プーリング（最大値または平均値）を適用し、局所的またはグローバルな回転不変性を実現する。不変性はネットワーク内の特定の層で導入される。
• テクスチャの方向性と回転方向の変動を制御した公開済みの合成 3D テクスチャデータセットを用いてモデルを訓練する。
• 標準的な 3D CNN（Z3-CNN）と O-CNN、O_h-CNN の性能を、通常のテストセット、O-回転セット、およびランダム回転セットで比較する。
• 混同行列とクラスごとの正答率分析を用い、テクスチャタイプごとの方向性感受性と不変性性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 G-畳み込みによる回転等変性の組み込みが、標準的な 3D CNN と比較して、直交回転下での 3D テクスチャ分類精度を向上させるか？
• RQ2 G-プーリングはどの程度局所的またはグローバルな回転不変性を実現できるか。また、その影響は回転されたテクスチャの識別性にどのように現れるか？
• RQ3 O 群に等変性を持つモデルは、学習データに存在しない任意の回転に対してどの程度一般化できるか？
• RQ4 方向性を持つテクスチャクラスは、方向性を持たないクラスよりも回転不変性に依存しているか。その影響はモデル性能にどのように現れるか？
• RQ5 O 群の等変性に加え、回転反転対称性（O_h 群）を含めることで、回転不変テクスチャ分類の性能が向上するか？

主な発見

• G-プーリングを備えた O-CNN は、直交回転に対して回転不変性を達成し、O-回転セットにおいて標準的な Z3-CNN よりも顕著に優れた性能を示した。
• O-回転セットでは、最大値 G-プーリングを用いた O-CNN が高精度を達成したが、平均値 G-プーリングでは方向性にわたる特徴の平均化により識別性が低下した。
• G-プーリングを備えない O-CNN は不変性を有しておらず、O-回転セットにおいて Z3-CNN よりわずかに優れた性能にとどまり、等変性のみでは不十分であることが示された。
• ランダムに回転させた（rotate）セットでは、すべての G-CNN が O-回転セットと比較して顕著な精度低下を示し、任意の回転への一般化能力が低いことが明らかになった。
• 方向性を持つテクスチャ（例：c10, c11, c12）は回転不変性の恩恵を最も受け、方向性を持たないテクスチャ（例：c6, c15）は標準的な CNN でもすでに良好に分類されていた。
• O_h 群を用いたモデルは、O 群のものと比較して性能が向上しなかった。テストセットでは回転保存変換のみが使用されており、反転対称性は不要であり、モデル容量の低下を引き起こした。