[논문 리뷰] Wide and deep volumetric residual networks for volumetric image classification

Varun Arvind, Anthony Costa외 3명|arXiv (Cornell University)|2017. 09. 18.

3D Shape Modeling and Analysis참고 문헌 8인용 수 13

한 줄 요약

이 논문은 3D 이미지 분류를 위한 넓고 깊은 부피형 잔차 신경망을 제안하며, 잔차 연결과 네트워크 넓히기를 활용하여 3D 프린스턴 ModelNet 데이터셋에서 정확도를 향상시킨다. 넓이가 넓은 얕은 잔차 신경망을 넓히는 것이 성능을 크게 향상시키며, 더 깊고 복잡한 모델에 비해 계산 비용을 줄이고도 최신 기술 수준의 성능을 달성함을 보여준다.

ABSTRACT

3D shape models that directly classify objects from 3D information have become more widely implementable. Current state of the art models rely on deep convolutional and inception models that are resource intensive. Residual neural networks have been demonstrated to be easier to optimize and do not suffer from vanishing/exploding gradients observed in deep networks. Here we implement a residual neural network for 3D object classification of the 3D Princeton ModelNet dataset. Further, we show that widening network layers dramatically improves accuracy in shallow residual nets, and residual neural networks perform comparable to state-of-the-art 3D shape net models, and we show that widening network layers improves classification accuracy. We provide extensive training and architecture parameters providing a better understanding of available network architectures for use in 3D object classification.

연구 동기 및 목표

• 부피형 딥 러닝을 사용하여 더 효율적이고 정확한 3D 객체 분류 모델을 개발하기 위해.
• 3D 부피 데이터에서 네트워크 깊이와 넓이가 분류 성능에 미치는 영향을 조사하기 위해.
• 잔차 신경망을 넓히는 것이 더 깊고 복잡한 아키텍처에 비해 성능을 유사하게 달성할 수 있는지 평가하기 위해.
• 잔차 신경망을 사용한 3D 객체 분류를 위한 종합적인 훈련 및 아키텍처 가이드라인을 제공하기 위해.

제안 방법

• 저자는 깊은 네트워크에서의 기울기 소실 문제를 완화하기 위해 잔차 블록을 사용하여 3D 잔차 신경망을 구현한다.
• 3D 컨볼루션을 사용하고 ReLU 활성화 함수와 배치 정규화를 적용하여 부피 데이터에서 계층적 특징을 추출한다.
• 깊이와 넓이를 조절하여 네트워크 아키텍처를 체계적으로 변화시키며, 잔차 연결을 통해 더 깊은 네트워크의 훈련을 가능하게 한다.
• 최종 분류를 위해 글로벌 평균 풀링을 적용한 후 완전 연결 층을 사용한다.
• 정확도와 수렴에 미치는 넓이와 깊이의 영향을 분석하기 위해 광범위한 추상화 연구를 수행한다.
• 표준 데이터 증강 및 최적화 기법을 사용하여 3D 프린스턴 ModelNet 데이터셋에서 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 3D 부피 잔차 신경망에서 네트워크 넓이를 늘릴 경우 분류 정확도에 어떤 영향을 미치는가?
• RQ2 얕은 넓은 잔차 신경망이 더 깊고 복잡한 모델과 유사한 성능을 달성할 수 있는가?
• RQ3 ModelNet 데이터셋에서 3D 객체 분류에 가장 적합한 깊이와 넓이의 균형은 무엇인가?
• RQ4 잔차 연결이 3D 부피 신경망의 훈련 안정성과 정확도에 어떤 영향을 미치는가?
• RQ5 어떤 아키텍처 및 훈련 설정이 3D 형태 분류에서 최고의 성능을 낼 수 있는가?

주요 결과

• 잔차 신경망의 레이어를 넓히는 것은 얕은 아키텍처에서도 분류 정확도를 크게 향상시킨다.
• 제안된 넓고 깊은 부피형 잔차 신경망은 3D 프린스턴 ModelNet 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 모델은 넓이를 늘림으로써 깊이를 줄여도 높은 정확도를 달성할 수 있음을 보여주며, 더 적은 파라미터로도 성능을 낼 수 있다.
• 잔차 연결은 기울기 소실을 방지하면서 깊은 3D 컨볼루션 네트워크의 안정적인 훈련을 가능하게 한다.
• 광범위한 추상화 연구 결과, 이 설정에서는 넓이가 깊이보다 정확도에 더 큰 영향을 미친다.
• 결과는 3D 객체 분류에서 아키텍처 선택에 대한 명확한 가이드라인을 제공하며, 깊이를 늘리는 것보다 넓히는 데서 오는 이점에 초점을 맞춘다.