[論文レビュー] Auto-MVCNN: Neural Architecture Search for Multi-view 3D Shape Recognition

Zhaoqun Li, Hongren Wang+1 more|arXiv (Cornell University)|Dec 10, 2020

3D Shape Modeling and Analysis参考文献 38被引用数 5

ひとこと要約

本稿では、マルチビュー3D形状認識に特化したニューラルアーキテクチャ探索フレームワークであるAuto-MVCNNを提案する。この手法は、視覚間特徴相関をモデル化するための自動設計された統合セルを導入し、同時にマルチタスク学習の損失重みを最適化する。94.4%の精度とModelNet40における91.0%のmAPを達成し、手動で設計されたネットワークを著しく上回りながら、パラメータ数と計算コストを削減する。

ABSTRACT

In 3D shape recognition, multi-view based methods leverage human's perspective to analyze 3D shapes and have achieved significant outcomes. Most existing research works in deep learning adopt handcrafted networks as backbones due to their high capacity of feature extraction, and also benefit from ImageNet pretraining. However, whether these network architectures are suitable for 3D analysis or not remains unclear. In this paper, we propose a neural architecture search method named Auto-MVCNN which is particularly designed for optimizing architecture in multi-view 3D shape recognition. Auto-MVCNN extends gradient-based frameworks to process multi-view images, by automatically searching the fusion cell to explore intrinsic correlation among view features. Moreover, we develop an end-to-end scheme to enhance retrieval performance through the trade-off parameter search. Extensive experimental results show that the searched architectures significantly outperform manually designed counterparts in various aspects, and our method achieves state-of-the-art performance at the same time.

研究の動機と目的

• マルチビュー3D形状認識における手作業で設計されたCNNバックボーンの限界を解消し、3D特徴学習に最適でない可能性を是正すること。
• 分類およびリtrievalの両タスクに対して、ネットワークアーキテクチャと学習損失のバランスを同時に最適化するエンドツーエンドのニューラルアーキテクチャ探索フレームワークを構築すること。
• マルチビュー特徴間の内在的相関を自動で捉えることのできる新しい統合セルを設計し、特徴表現を向上させること。
• 手作業で設計されたネットワークの代わりに探索されたアーキテクチャを採用することで、計算コストとモデルの複雑さを低減すること。
• NASで最適化されたネットワークが、3D形状ベンチマークにおいてImageNet事前学習ベースラインを精度と効率の両面で上回ることを実証すること。

提案手法

• 連続的リラクゼーションを用いて順序付きのビュー特徴を処理する新しい統合セルアーキテクチャを提案し、離散的演算の上での勾配ベース探索を可能にする。
• DARTSの勾配ベースNASフレームワークを拡張し、統合セルによる視覚間特徴依存関係のモデル化を通じてマルチビュー入力を扱えるようにする。
• 形状分類、ビュー分類、リtrieval損失の3つの損失関数の最適なトレードオフパラメータを同時に探索するエンドツーエンドのスキームを導入する。
• 各ビューの特徴抽出に共有バックボーンを用い、その後に学習された統合モジュールとマルチタスクヘッド（分類およびリtrieval用）を配置する。
• バックプロパゲーションによる効率的なアーキテクチャ探索が可能な微分可能探索空間を採用し、強化学習や進化的計算を回避する。
• アーキテクチャ探索とモデル学習をModelNet40で実施し、最終的なモデルはクリーンおよび摂動を加えたShapeNetCore55データセットでも評価する。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計されたCNNバックボーンに代わって、ニューラルアーキテクチャ探索をマルチビュー3D形状認識に効果的に適用できるか？
• RQ2 微分可能で効率的な方法で、マルチビュー特徴間の相関を自動的にモデル化できる統合セルはどのように設計できるか？
• RQ3 損失重みの組み合わせをエンドツーエンドで探索することで、マルチタスク3D形状認識における学習のバランスと性能が向上するか？
• RQ4 NASで最適化されたアーキテクチャは、ImageNet事前学習ベースラインを3D形状分類およびリtrievalの両面で上回るか？
• RQ5 初期チャネル数の数値と探索の安定性が、最終的なアーキテクチャの性能に与える影響は何か？

主な発見

• Auto-MVCNNは、ImageNet事前学習を用いた場合、ModelNet40で94.4%のトップ-1精度と91.0%のmAPを達成し、すべての手作業ベースラインを上回る。
• 探索されたアーキテクチャAM_c36は、94.4%の精度と91.0%のmAPを達成し、AM_c24（93.9%の精度、90.9%のmAP）および他のNASベースラインを著しく上回る。
• 学習された演算を備えた統合セルは、標準セルや他のNASアーキテクチャよりも性能が向上し、AM_c36に組み込まれた場合に94.4%の精度と91.0%のmAPを達成する。
• 動的損失重み探索スキームは、固定または手動で調整された損失組み合わせを上回り、94.4%の精度と91.0%のmAPを達成する。
• より困難なShapeNetCore55摂動データセットでは、Auto-MVCNN（AM_c36）が91.0%のmAPと88.9%のNDCGを達成し、比較されたすべての手法を上回る。
• アブレーションスタディにより、統合セルと動的損失バランススキームの両方が不可欠であることが確認され、統合セルのみを用いることで標準セルより1.0%の精度向上が達成された。