[논문 리뷰] Auto-MVCNN: Neural Architecture Search for Multi-view 3D Shape Recognition

Zhaoqun Li, Hongren Wang외 1명|arXiv (Cornell University)|2020. 12. 10.

3D Shape Modeling and Analysis참고 문헌 38인용 수 5

한 줄 요약

이 논문은 다중 시각 3D 모양 인식을 위한 신경망 아키텍처 탐색 프레임워크인 Auto-MVCNN을 제안한다. 이는 상호 시각 간 특징 상관관계를 모델링하는 병합 셀을 자동으로 설계하고, 다중 작업 학습을 위한 손실 가중치를 동시에 최적화한다. 이 방법은 매개변수와 계산 비용을 줄이며, ModelNet40에서 94.4%의 정확도와 91.0%의 mAP를 달성하여 수작업으로 설계된 네트워크를 크게 능가하는 최신 기술 수준의 성능을 보인다.

ABSTRACT

In 3D shape recognition, multi-view based methods leverage human's perspective to analyze 3D shapes and have achieved significant outcomes. Most existing research works in deep learning adopt handcrafted networks as backbones due to their high capacity of feature extraction, and also benefit from ImageNet pretraining. However, whether these network architectures are suitable for 3D analysis or not remains unclear. In this paper, we propose a neural architecture search method named Auto-MVCNN which is particularly designed for optimizing architecture in multi-view 3D shape recognition. Auto-MVCNN extends gradient-based frameworks to process multi-view images, by automatically searching the fusion cell to explore intrinsic correlation among view features. Moreover, we develop an end-to-end scheme to enhance retrieval performance through the trade-off parameter search. Extensive experimental results show that the searched architectures significantly outperform manually designed counterparts in various aspects, and our method achieves state-of-the-art performance at the same time.

연구 동기 및 목표

• 수작업으로 설계된 CNN 백본이 3D 특징 학습에 최적이 아닐 수 있는 다중 시각 3D 모양 인식의 한계를 해결하기 위해.
• 분류 및 검색 작업 모두에 대해 네트워크 아키텍처와 학습 손실 균형을 동시에 최적화하는 종단 간 신경망 아키텍처 탐색 프레임워크를 개발하기 위해.
• 다중 시각 특징 간 내재된 상관관계를 자동으로 포착하는 새로운 병합 셀을 설계하여 특징 표현을 향상시키기 위해.
• 수작업으로 설계된 네트워크를 탐색된 아키텍처로 대체하여 계산 비용과 모델 복잡도를 줄이기 위해.
• NAS 최적화 네트워크가 3D 모양 벤치마크에서 정확도와 효율성 측면에서 ImageNet 사전 훈련 기반 베이스라인을 능가하는지 입증하기 위해.

제안 방법

• 연속적 리프레젠테이션을 사용하여 순차적 시각 특징를 처리하는 새로운 병합 셀 아키텍처를 제안하며, 이는 이산 연산에 대한 기울기 기반 탐색을 가능하게 한다.
• DARTS 기반 기울기 기반 NAS 프레임워크를 확장하여 병합 셀을 통해 상호 시각 특징 의존성을 모델링함으로써 다중 시각 입력을 처리할 수 있도록 한다.
• 형태 분류, 시각 분류, 검색 손실의 세 가지 손실 함수에 대한 최적의 무게 조합을 종단 간으로 동시에 탐색하는 스킴을 도입한다.
• 시각 특징 추출을 위한 공유 백본을 사용한 후, 학습된 병합 모듈과 다중 작업 헤드를 통해 분류 및 검색을 수행한다.
• 역전파를 통한 효율적인 아키텍처 탐색을 허용하는 미분 가능 탐색 공간을 사용하여 강화 학습이나 진화 계산을 피한다.
• 최종 모델은 ModelNet40에서 아키텍처 탐색과 모델 훈련을 수행하였으며, 청소하고 훼손된 ShapeNetCore55 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 CNN 백본을 대체하기 위해 신경망 아키텍처 탐색이 다중 시각 3D 모양 인식에 효과적으로 적용될 수 있는가?
• RQ2 다양분할 가능하고 효율적인 방식으로 다중 시각 특징 간 상관관계를 자동으로 모델링할 수 있는 병합 셀은 어떻게 설계할 수 있는가?
• RQ3 손실 가중치 조합의 종단 간 탐색이 다중 작업 3D 모양 인식에서 학습 균형과 성능을 향상시킬 수 있는가?
• RQ4 NAS 최적화 아키텍처가 3D 모양 분류 및 검색에서 ImageNet 사전 훈련 기반 수작업 네트워크를 능가하는가?
• RQ5 초기 채널 수와 탐색 안정성의 수치가 최종 아키텍처 성능에 미치는 영향은 어떠한가?

주요 결과

• Auto-MVCNN는 ImageNet 사전 훈련을 사용하여 ModelNet40에서 94.4%의 상위-1 정확도와 91.0%의 mAP를 달성하며, 모든 수작업 기반 베이스라인을 능가한다.
• 탐색된 아키텍처인 AM_c36는 94.4%의 정확도와 91.0%의 mAP를 기록하며, AM_c24(93.9% 정확도, 90.9% mAP)와 다른 NAS 기반 베이스라인을 크게 능가한다.
• 학습된 연산을 포함한 병합 셀은 표준 셀과 다른 NAS 아키텍처보다 성능을 향상시키며, AM_c36에 사용되었을 때 94.4%의 정확도와 91.0%의 mAP를 기록한다.
• 동적 손실 가중치 탐색 스킴은 고정 또는 수작업 조정된 손실 조합보다 우수한 성능을 보이며, 94.4%의 정확도와 91.0%의 mAP를 달성한다.
• 더 도전적인 훼손된 ShapeNetCore55 데이터셋에서 Auto-MVCNN(AM_c36)는 91.0%의 mAP와 88.9%의 NDCG를 기록하여 비교된 모든 방법을 능가한다.
• 절단 분석 결과, 병합 셀과 동적 손실 균형 조정 스킴이 모두 필수적임을 확인하였으며, 병합 셀만으로도 표준 셀 대비 정확도가 1.0% 향상된다.