[論文レビュー] R2-MLP: Round-Roll MLP for Multi-View 3D Object Recognition

Shuo Chen, Tan Yu+1 more|arXiv (Cornell University)|Nov 20, 2022

Brain Tumor Detection and Classification被引用数 4

ひとこと要約

本論文では、視点次元に沿ってチャネルをシフトすることで、視点間の特徴通信を可能にするラウンドロール（R²）モジュールを導入した、マルチビュー3Dオブジェクト認識を目的とした新しいMLPベースのアーキテクチャ、R2-MLPを提案する。視点内での空間シフトと視点間でのラウンドロールシフトを組み合わせることで、CNNベースのモデルよりも低いFLOPsとより速い推論速度で、ModelNet10（99.6％の正確度）およびModelNet40（97.7％の正確度）で最先端の性能を達成する。

ABSTRACT

Recently, vision architectures based exclusively on multi-layer perceptrons (MLPs) have gained much attention in the computer vision community. MLP-like models achieve competitive performance on a single 2D image classification with less inductive bias without hand-crafted convolution layers. In this work, we explore the effectiveness of MLP-based architecture for the view-based 3D object recognition task. We present an MLP-based architecture termed as Round-Roll MLP (R$^2$-MLP). It extends the spatial-shift MLP backbone by considering the communications between patches from different views. R$^2$-MLP rolls part of the channels along the view dimension and promotes information exchange between neighboring views. We benchmark MLP results on ModelNet10 and ModelNet40 datasets with ablations in various aspects. The experimental results show that, with a conceptually simple structure, our R$^2$-MLP achieves competitive performance compared with existing state-of-the-art methods.

研究の動機と目的

• マルチビュー3Dオブジェクト認識における既存のMLPベースのモデルが、視点間依存関係を十分に捉えられていないという限界を解消すること。
• アテンションや畳み込みに依存せずに、パラメータフリーの効率的な視点間特徴通信メカニズムを設計すること。
• 純粋なMLPアーキテクチャを用いて、標準ベンチマーク（ModelNet10およびModelNet40）で最先端の性能を達成すること。

提案手法

• R2-MLPアーキテクチャは、視点次元に沿って一部の特徴チャネルを循環的にシフトすることで、隣接する視点間での情報交換を可能にするラウンドロール（R²）モジュールを採用している。
• 各視点内では、幅および高さの次元にわたる空間シフト操作を適用して、視点内での特徴通信を促進している。
• R²モジュールは、1つの計算フリーのコンponentsとして、視点内および視点間の特徴相互作用を統合しており、追加のパラメータやFLOPsを回避している。
• モデルは、学習可能な線形変換と位置エンコーディングを用いてマルチビュー特徴を処理する標準的なMLPバックボーンを使用している。
• ラウンドロール操作は循環シフトとして実装されており、たとえば、視点1 → 視点2 → 視点3 → 視点1のように、隣接する視点が特徴を共有できる。
• アーキテクチャは、3D分類のためのエンドツーエンド学習が行われ、標準ベンチマークを用いて分類およびリtrievalタスクの両方で評価されている。

実験結果

リサーチクエスチョン

• RQ1 純粋なMLPアーキテクチャは、マルチビュー3Dオブジェクト認識における視点間依存関係を効果的にモデル化できるか？
• RQ2 アテンションや畳み込みと比較して、ラウンドロール特徴シフト機構は視点間通信をどのように実現するか？
• RQ3 ラウンドロールのような計算フリーかつパラメータフリーな操作は、FLOPsと推論時間を削減しながらも、競争力のある性能を達成できるか？
• RQ4 提案されたR2-MLPは、標準的な3D認識ベンチマークで、既存のCNNベースおよびアテンションベースの手法を上回る性能を示すか？
• RQ5 直接的なリtrieval損失最適化なしに、R2-MLPは3D形状リtrievalタスクに十分に一般化できるか？

主な発見

• 20視点を用いたModelNet10では、R2-MLPが99.6％のトップ1正確度を達成し、CAR-Netを含むすべての比較手法を上回った。
• 20視点を用いたModelNet40では、R2-MLPが97.7％の正確度を達成し、最先端のCAR-Netと同等の性能を示したが、パラメータ数と計算量が少ない。
• 12視点のみで、ModelNet40で97.2％の正確度を達成し、全手法の中で2位となり、少ない視点数でも優れた一般化性能を示した。
• ModelNet40の3D形状リtrievalタスクでは、12視点で93.1％のmAP、20視点で93.1％のmAPを達成し、MLVCNN（92.2％mAP）を上回った。
• V100 GPUを用いたModelNet40では、R2-MLPの推論速度が1サンプルあたり0.07秒であり、CAR-Net（0.20秒）や他のCNNベースのモデルよりも顕著に速かった。
• R2-MLPは、CAR-NetのようなCNNベースの対比モデルよりもFLOPsとパラメータ数が少なく、優れた効率性を示した。