[논문 리뷰] SwiDeN : Convolutional Neural Networks For Depiction Invariant Object Recognition

Ravi Kiran Sarvadevabhatla, Shiv Surya외 2명|arXiv (Cornell University)|2016. 07. 29.

Advanced Neural Network Applications참고 문헌 15인용 수 4

한 줄 요약

SwiDeN은 사진과 예술적 드로잉에 적합한 스타일별 하위망 간의 깊이 있는 동적 스위칭 메커니즘을 활용하여 묘사 방식에 영향을 받지 않는 객체 인식을 달성하는 새로운 컨볼루션 신경망 아키텍처이다. 기준 모델 및 도메인 적응 방법보다 뛰어나 Photo-Art-50 데이터셋에서 총 정확도 94.42%를 기록하였으며, 비사진적 '예술' 묘사에서는 91.12%의 정확도를 달성하여 크로스-묘사 인식 분야에서 최고 수준의 성능을 입증하였다.

ABSTRACT

Current state of the art object recognition architectures achieve impressive performance but are typically specialized for a single depictive style (e.g. photos only, sketches only). In this paper, we present SwiDeN : our Convolutional Neural Network (CNN) architecture which recognizes objects regardless of how they are visually depicted (line drawing, realistic shaded drawing, photograph etc.). In SwiDeN, we utilize a novel `deep' depictive style-based switching mechanism which appropriately addresses the depiction-specific and depiction-invariant aspects of the problem. We compare SwiDeN with alternative architectures and prior work on a 50-category Photo-Art dataset containing objects depicted in multiple styles. Experimental results show that SwiDeN outperforms other approaches for the depiction-invariant object recognition problem.

연구 동기 및 목표

• 현재 모델이 단일 묘사 스타일에 특화되어 있음에도 불구하고 다양한 묘사 스타일(예: 사진, 스케치, 드로잉 등) 간의 객체 인식 과제를 해결하기 위해.
• 인간 수준의 묘사 방식에 영향을 받지 않는 인식 능력과 기계 성능 간 격차를 줄이기 위해 단일 모델이 다양한 스타일로 일반화할 수 있도록 하기 위해.
• 수작업으로 만든 모듈이나 복잡한 도메인 적응 기법에 의존하지 않고, 묘사 특화 및 묘사에 영향을 받지 않는 특징을 동시에 학습할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 설계하기 위해.
• 이전의 전이 학습 및 도메인 적응 기법의 한계를 극복하기 위해 입력을 적절한 스타일별 하위망으로 유도하는 학습 가능한 동적 스위칭 메커니즘을 도입하기 위해.

제안 방법

• SwiDeN은 공유 트렁크와 두 개의 병렬 하위망으로 구성된 이중 브랜치 아키텍처를 사용한다. 하나는 사진 묘사에 최적화되어 있고, 다른 하나는 예술적/일러스트레이티브 묘사에 최적화되어 있다.
• ‘딥’ 묶음 스타일 분류기(‘스위치’)는 입력 이미지의 시각적 스타일에 따라 자동으로 적절한 하위망으로 라우팅함으로써 스타일별 특징 학습을 가능하게 한다.
• 스위치 메커니즘은 네트워크의 나머지 부분과 함께 엔드 투 엔드로 훈련되며, 시각적 신호에 기반해 언제이고 어떻게 라우팅할지를 학습할 수 있도록 한다.
• 기본 네트워크로 VGG-19를 사용하며, 각 하위망에 대해 별도의 학습률을 설정한다. ‘예술’ 하위망은 사진에 대한 사전 훈련 편향을 보상하기 위해 학습률을 4배로 높였다.
• 스타일별 처리 후 공유 레이어에서 추출된 특징을 융합한 후 소프트맥스 분류기를 통해 최종 예측을 수행한다.
• 훈련 시 데이터 증강(색상 조정, 수평 뒤집기, ‘예술’ 이미지에 대한 형태학적 연산)을 사용하고, 테스트 이미지에 대해 다섯 개의 크롭을 평균하여 평가한다.

실험 결과

연구 질문

• RQ1 단일 딥 신경망이 특정 스타일에 특화되지 않고도 여러 묶음 스타일(예: 사진, 스케치, 드로잉 등)에서 높은 정확도를 달성할 수 있는가?
• RQ2 표준 미세조정 또는 도메인 적응 기법과 비교해, 스타일별 하위망 간의 동적이고 학습 가능한 스위칭 메커니즘이 크로스-묘사 인식에서 어떻게 성능을 높이는가?
• RQ3 스위칭을 통한 스타일별 특징 학습과 결합했을 때 공유 표현이 얼마나 묶음 스타일에 영향을 받지 않는 특징을 학습할 수 있는가?
• RQ4 스타일별 하위망의 깊이가 비사진적 묶음 스타일에 특히 잘 일반화하는 데 영향을 미치는가?

주요 결과

• SwiDeN은 Photo-Art-50 데이터셋에서 총 분류 정확도 94.42%를 기록하여 기준 모델(93.80%)과 기울기 반전 네트워크(GRN, 92.64%)보다 뛰어난 성능을 보였다.
• ‘예술’ 묘사에서는 91.12%의 정확도를 기록하여 기준 모델(89.80%)과 GRN(88.52%)보다 뚜렷이 뛰어나 비사진적 스타일에 대한 효과성을 입증하였다.
• SwiDeN의 C4-S 버전은 모든 SwiDeN 아키텍처 중에서 가장 높은 성능을 기록하였으며, 총 정확도 94.42%를 달성하여 스타일별 하위망에 최적의 깊이를 확보함을 시사하였다.
• SwiDeN은 Wu 등 [16]의 다중 속성 부분-그래프 모델보다 뛰어나, 클래스 분포가 불균형한 분할 조건에서도 93.02%의 총 정확도를 기록하여 그들의 89.67%를 상회하였다.
• SwiDeN에서는 ‘사진’과 ‘예술’ 정확도 간 격차가 최소화되었으며(97.72% 대 91.12%), 기준 모델(97.80% 대 89.80%)보다 더 균형 잡힌 성능을 보였다.
• 결과적으로 동적 스위칭 메커니즘이 GRN에서처럼 간접 피드백 메커니즘보다 스타일별 특징 학습을 더 효과적으로 가능하게 하였으며, 비슷한 설계 원칙을 가졌음에도 불구하고 성능이 열등했던 GRN의 한계를 극복함을 시사한다.