[논문 리뷰] TDAPNet: Prototype Network with Recurrent Top-Down Attention for Robust Object Classification under Partial Occlusion

Xiao Ming-qing, Adam Kortylewski외 4명|arXiv (Cornell University)|2019. 09. 09.

Advanced Neural Network Applications참고 문헌 28인용 수 18

한 줄 요약

TDAPNet는 부분적 가림 상황에서의 객체 분류 정확도 향상을 위해 순환적인 상향식 주의 메커니즘을 갖춘 프로토타입 기반 네트워크를 제안한다. 프로토타입 학습, 주의 지도형 부분 매칭, 상향식 피드백 조절을 결합함으로써 가림에 의한 오염을 감소시키고 특징 일반화 능력을 향상시켜, 부분적 가림이 있는 MNIST 및 PASCAL3D+ 데이터셋에서 뚜렷한 정확도 향상을 달성한다.

ABSTRACT

Despite deep convolutional neural networks' great success in object classification, it suffers from severe generalization performance drop under occlusion due to the inconsistency between training and testing data. Because of the large variance of occluders, our goal is a model trained on occlusion-free data while generalizable to occlusion conditions. In this work, we integrate prototypes, partial matching and top-down attention regulation into deep neural networks to realize robust object classification under occlusion. We first introduce prototype learning as its regularization encourages compact data clusters, which enables better generalization ability under inconsistent conditions. Then, attention map at intermediate layer based on feature dictionary and activation scale is estimated for partial matching, which sifts irrelevant information out when comparing features with prototypes. Further, inspired by neuroscience research that reveals the important role of feedback connection for object recognition under occlusion, a top-down feedback attention regulation is introduced into convolution layers, purposefully reducing the contamination by occlusion during feature extraction stage. Our experiment results on partially occluded MNIST and vehicles from the PASCAL3D+ dataset demonstrate that the proposed network significantly improves the robustness of current deep neural networks under occlusion. Our code will be released.

연구 동기 및 목표

• 청결한 훈련 데이터와 가림된 테스트 데이터 간의 분포 이탈로 인해 딥 CNN의 일반화 실패 문제를 해결한다.
• 클래스별 특징 클러스터의 밀도를 높이기 위해 프로토타입 학습을 도입하여 훈련 데이터에 대한 과적합을 완화한다.
• 상향식 주의 피드백을 통해 특징 추출 과정에서 가림 물체에 의한 특징 오염을 완화한다.
• 학습된 주의 맵을 활용해 가림되지 않은 정보성 부분에 집중함으로써, 가림 상황에서도 효과적인 프로토타입 매칭을 가능하게 한다.
• 훈련 중에 가림 데이터가 필요 없이도 새로운 가림 패턴에 일반화 가능한 방법을 개발한다.

제안 방법

• 분포 이탈 상황에서도 일반화 능력을 향상시키기 위해 특징 추출 후 프로토타입 학습을 적용하여 특징 클러스터를 정규화한다.
• 활성화 스케일과 학습된 특징 사전를 사용하여 pool-4 레이어에서 주의 맵을 추정하여 정보성이고 가리지 않은 객체 부분을 식별한다.
• 주의 맵을 두 단계에서 적용한다: 첫 번째로 하향식 피드백 조절을 통해 하위 레이어에서 가림에 의한 이상치를 억제하고, 두 번째로 부분 매칭을 통해 가리킨 특징을 걸러낸다.
• 고수준 의미 정보를 하위 레이어로 전파하는 순환적인 상향식 주의 메커니즘을 도입하여 초기 합성곱 레이어에서의 오염을 감소시킨다.
• 분류에 유사도를 측정하기 위해 특징과 프로토타입 간의 유클리드 거리를 사용하지만, 주의 기반 특징 선택 및 상향식 정제 후에만 적용한다.
• 가림 증강 없이도 전체 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 훈련 중에 가림 데이터가 없더라도 프로토타입 학습이 부분적 가림 상황에서 딥 네트워크의 일반화 능력을 향상시킬 수 있는가?
• RQ2 주의 메커니즘을 어떻게 활용하여 가리지 않은 정보성 부분에 집중함으로써 가림 상황에서 효과적인 부분 매칭을 달성할 수 있는가?
• RQ3 상향식 피드백 주의가 초기 합성곱 레이어에서 가림에 의한 오염을 어느 정도 감소시킬 수 있는가?
• RQ4 프로토타입 학습, 주의 기반 부분 매칭, 상향식 조절의 통합이 가림된 객체 분류 벤치마크에서 뚜렷한 성능 향상을 이끌 수 있는가?
• RQ5 클래스당 다수의 프로토타입을 사용할 경우, 시점 변화에 따른 객체 외관의 공간적 변동성을 모델이 더 잘 포착할 수 있는가?

주요 결과

• TDAPNet는 기준 모델 대비 부분적 가림이 있는 MNIST 및 PASCAL3D+ 데이터셋에서 분류 정확도를 뚜렷이 향상시켜, 새로운 가림 패턴에 대한 강건성을 입증한다.
• 클래스당 4개의 프로토타입을 사용한 결과가 단일 프로토타입보다 우수하여, 다수의 프로토타입이 시점 변화에 따른 공간적 변동성을 더 잘 포착함을 시사한다.
• 활성화 스케일과 특징 사전를 기반으로 추정한 주의 맵이 가림 물체에 대한 주의를 감소시키고 객체 부분에 대한 집중을 향상시켜 부분 매칭 성능을 향상시킨다.
• 하나의 상향식 반복 후, pool-4 레이어에서 가림에 의한 특징 차이가 최대 80% 감소함을 측정한 활성화 차이 감소로 확인하여, 상향식 반복의 효과를 입증한다.
• 한 번의 상향식 반복 후 최종 주의 맵은 정보성이고 가리지 않은 영역에 가장 정교하게 집중되어 있으며, 가림 물체나 배경에 대한 주의는 최소화되어 있다.
• 훈련 중에 어떤 가림 데이터도 사용하지 않았음에도 불구하고 높은 성능을 달성하여, 새로운 가림 패턴에 대한 일반화 능력을 입증한다.