[논문 리뷰] Integrated perception with recurrent multi-task neural networks

Hakan Bilen, Andrea Vedaldi|arXiv (Cornell University)|2016. 06. 06.

Advanced Neural Network Applications참고 문헌 27인용 수 8

한 줄 요약

이 논문은 다중 인식 작업—예를 들어 이미지 분류, 객체 검출, 부분 검출—을 공통의 잠재 표현을 반복적으로 업데이트함으로써 통합하는 순환 다중작업 신경망인 Multinet을 제안한다. 이 방법은 작업 간 상호보완적 정보 흐름을 가능하게 하여 독립적이고 표준 다중작업 네트워크보다 성능을 향상시키며, PASCAL VOC 벤치마크에서 최고 성능을 기록하여 최대 1.5 AP 향상을 달성한다.

ABSTRACT

Modern discriminative predictors have been shown to match natural intelligences in specific perceptual tasks in image classification, object and part detection, boundary extraction, etc. However, a major advantage that natural intelligences still have is that they work well for "all" perceptual problems together, solving them efficiently and coherently in an "integrated manner". In order to capture some of these advantages in machine perception, we ask two questions: whether deep neural networks can learn universal image representations, useful not only for a single task but for all of them, and how the solutions to the different tasks can be integrated in this framework. We answer by proposing a new architecture, which we call "MultiNet", in which not only deep image features are shared between tasks, but where tasks can interact in a recurrent manner by encoding the results of their analysis in a common shared representation of the data. In this manner, we show that the performance of individual tasks in standard benchmarks can be improved first by sharing features between them and then, more significantly, by integrating their solutions in the common representation.

연구 동기 및 목표

• 깊이 신경망이 여러 인지 작업에 효과적으로 작용하는 보편적이고 공유되는 표현을 학습할 수 있는지 조사하기 위해.
• 다양한 인지 작업이 단일 아키텍처 내에서 체계적으로 통합되어 성능 향상이 이루어질 수 있는 방법을 탐색하기 위해.
• 순환 피드백을 통한 시각적 데이터의 점진적이고 일관된 해석을 지원하는 모듈러하고 확장 가능한 프레임워크를 개발하기 위해.
• 공유 표현 업데이트를 통한 작업 통합이 단순한 특징 공유를 넘어서 성능 향상을 이끌 수 있음을 입증하기 위해.

제안 방법

• 아키텍처는 입력 데이터로부터 공통 통합 공간 표현을 생성하기 위해 공유 인코더를 사용한다.
• 각 작업은 공통 표현에서 특정 출력(예: 클래스, 바운딩 박스, 부분)을 예측하기 위해 전용 디코더를 활용한다.
• 작업 출력은 작업별로 특화된 인코더를 통해 통합 공간으로 피드백되어 순환 업데이트가 가능해진다.
• 통합자 함수를 사용하여 작업에서 온 피드백을 공통 표현에 통합함으로써 폐쇄형 순환 구조를 형성한다.
• 두 가지 업데이트 규칙을 평가: 하나는 전체 차원 표현을 사용하고, 다른 하나는 표현 압축 효과를 연구하기 위해 512차원 버티브를 사용한다.
• 모델은 공유 및 작업별 파rameter를 포함한 모든 구성 요소를 종합 최적화하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 단일 깊이 신경망이 여러 인지 작업에 잘 작용하는 보편적 표현을 학습할 수 있는가?
• RQ2 다양한 인지 작업의 출력을 어떻게 의미 있게 조합하여 전체 성능을 향상시킬 수 있는가?
• RQ3 작업 예측에서 공통 표현으로의 순환 피드백이 정적 특징 공유를 넘어서 성능 향상에 기여하는가?
• RQ4 엔드 투 엔드 훈련을 통해 작업 간 상호보완성이 얼마나 자동으로 발견될 수 있는가?

주요 결과

• Multinet 모델은 독립 네트워크와 표준 다중작업 네트워크를 모두 초월하여, PASCAL VOC 2010에서 평균 정밀도(mAP) 1.5 향상을 기록했다.
• 512차원 버티브를 사용함에도 불구하고 표준 다중작업 학습보다 성능 향상을 보이며, 표현 압축에 대한 강건성을 입증했다.
• 추론 중 참값 클래스 레이블을 주입한 결과, 분류 mAP가 90.1로 상승하여 작업 출력에서 온 피드백의 효과를 확인했다.
• 피드백 메커니즘은 주요 작업 뿐 아니라 다른 작업들에도 성능 향상이 이루어져, 작업 간 정보 전이가 발생함을 보여주었다.
• 전체 Multinet 모델은 PASCAL VOC 2007에서 분류 작업에서 79.8 mAP, 검출 작업에서 61.3 mAP를 기록하여 두 베이스라인을 모두 초월했다.