[논문 리뷰] Transferring Object-Scene Convolutional Neural Networks for Event Recognition in Still Images

Limin Wang, Zhe Wang외 2명|arXiv (Cornell University)|2016. 09. 01.

Human Pose and Action Recognition참고 문헌 2인용 수 3

한 줄 요약

이 논문은 정적 이미지 내 이벤트 인식을 향상시키기 위해 사전 훈련된 객체 및 환경 컨볼루션 신경망을 활용하는 새로운 전이 학습 프레임워크 OS2E-CNN을 제안한다. 다중 작업 학습 프레임워크 내에서 초기화 기반, 지식 기반, 데이터 기반 전이 기법을 활용함으로써, 세 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, ChaLearn 데이터셋에서 이전 방법보다 최대 11% 높은 정확도를 기록하였다.

ABSTRACT

Event recognition in still images is an intriguing problem and has potential for real applications. This paper addresses the problem of event recognition by proposing a convolutional neural network that exploits knowledge of objects and scenes for event classification (OS2E-CNN). Intuitively, it stands to reason that there exists a correlation among the concepts of objects, scenes, and events. We empirically demonstrate that the recognition of objects and scenes substantially contributes to the recognition of events. Meanwhile, we propose an iterative selection method to identify a subset of object and scene classes, which help to more efficiently and effectively transfer their deep representations to event recognition. Specifically, we develop three types of transferring techniques: (1) initialization-based transferring, (2) knowledge-based transferring, and (3) data-based transferring. These newly designed transferring techniques exploit multi-task learning frameworks to incorporate extra knowledge from other networks and additional datasets into the training procedure of event CNNs. These multi-task learning frameworks turn out to be effective in reducing the effect of over-fitting and improving the generalization ability of the learned CNNs. With OS2E-CNN, we design a multi-ratio and multi-scale cropping strategy, and propose an end-to-end event recognition pipeline. We perform experiments on three event recognition benchmarks: the ChaLearn Cultural Event Recognition dataset, the Web Image Dataset for Event Recognition (WIDER), and the UIUC Sports Event dataset. The experimental results show that our proposed algorithm successfully adapts object and scene representations towards the event dataset and that it achieves the current state-of-the-art performance on these challenging datasets.

연구 동기 및 목표

• 정적 이미지 내 이벤트 인식을 향상시키기 위해 객체, 환경, 이벤트 간의 의미적 상관관계를 탐구하기 위해.
• 대규모 객체 및 환경 데이터셋에서 유래한 깊이 학습 표현을 전이하여 이벤트 인식에 대한 훈련 데이터 부족 문제를 해결하기 위해.
• 과적합을 줄이고 일반화 성능을 향상시키기 위한 효과적인 전이 학습 기법을 개발하기 위해.
• 이벤트 분류에 가장 효과적으로 기여하는 분류 기반의 객체 및 환경 카테고리의 부분집합을 식별하기 위해.
• 다양한 비율과 다중 해상도 자르기 전략을 통합한 엔드 투 엔드 이벤트 인식 파이프라인을 설계하기 위해.

제안 방법

• 이벤트 인식을 위해 사전 훈련된 객체 및 환경 특징을 통합한 깊이 신경망 아키텍처인 OS2E-CNN을 제안한다.
• 세 가지 전이 기법을 도입한다: (1) 사전 훈련된 객체 및 환경 네트워크 가중치를 사용한 초기화 기반 전이, (2) 보조 객체 및 환경 분류 헤드를 갖춘 다중 작업 학습을 통한 지식 기반 전이, (3) 추가적인 ImageNet 및 Places205 데이터로의 피넷팅을 통한 데이터 기반 전이.
• 이벤트 인식에 높은 분류 능력을 지닌 객체 및 환경 클래스의 부분집합을 식별하기 위해 반복적 선택 방법을 활용한다.
• 특징의 강건성과 공간 커버리지 향상을 위해 훈련 중 다중 비율 및 다중 해상도 자르기 전략을 적용한다.
• 이벤트 인식과 함께 보조 과제인 객체 및 환경 분류를 공동 최적화함으로써 일반화 성능을 향상시키기 위해 다중 작업 학습 프레임워크를 적용한다.
• 전이 학습과 데이터 증강을 통합한 엔드 투 엔드 훈련 파이프라인을 설계하여 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 객체 및 환경 표현은 이벤트 인식과 어떻게 상관관계가 있으며, 어떤 특정 객체 및 환경 카테고리가 이벤트 분류에 가장 유용한가?
• RQ2 사전 훈련된 객체 및 환경 모델에서의 지식 전이가 소규모 데이터셋에서 이벤트 인식 성능을 크게 향상시킬 수 있는가?
• RQ3 초기화 기반, 지식 기반, 데이터 기반 전이 기법 간의 성능 및 일반화 능력은 어떻게 비교되는가?
• RQ4 다중 작업 학습 프레임워크가 과적합을 얼마나 줄이고 이벤트 인식에서 일반화 성능을 향상시키는가?
• RQ5 통합된 프레임워크는 객체, 환경, 이벤트 간의 계층적 의미적 관계를 효과적으로 활용하여 인식 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 ChaLearn 문화 이벤트 인식 데이터셋에서 최신 기술 수준 성능을 달성하였으며, 이전 최고 성능(SOTA) 대비 상위 1위 정확도에서 약 11% 높은 성능을 기록하였다.
• UIUC 스포츠 이벤트 데이터셋에서 상위 1위 정확도가 98.8%에 도달하여, Couple LDA 및 딥 러닝 기반 베이스라인을 크게 뛰어넘었다.
• 지식 기반 및 데이터 기반 전이 기법은 초기화 기반 전이만 사용할 경우 대비 각각 1% 이상 성능 향상을 보였으며, 특히 지식 기반 전이에서 더 강한 성능 향상이 관찰되었다.
• 반복적 선택 방법은 전이 효율성과 정확도를 향상시키는 데 효과적으로 기여하는 분류 능력이 높은 객체 및 환경 클래스의 부분집합을 성공적으로 식별하였다.
• 실패 케이스 분석 결과, 외관적으로 유사한 이벤트들(예: 춘절 vs. 펑시 램프 페스티벌) 간 혼동이 자주 발생함을 확인하여 미세한 이벤트 간 구분의 과제를 드러냈다.
• 소규모 데이터셋에서도 강건한 성능을 보였으며, 소규모 UIUC Event8 데이터셋에서 초기화 기반 전이로 96.9%의 정확도, 전체 전이로 98.0%의 정확도를 달성하였다.