[논문 리뷰] Object-Level Context Modeling For Scene Classification with Context-CNN

Syed Ashar Javed, Anil Nelakanti|arXiv (Cornell University)|2017. 05. 11.

Multimodal Machine Learning Applications참고 문헌 49인용 수 3

한 줄 요약

이 논문은 객체 제안과 LSTM 유닛을 사용하여 객체 수준의 맥락을 모델링함으로써 영상 분류 성능을 햖थ한 Context-CNN이라는 딥러닝 모델을 제안한다. 객체-객체 및 객체-장면 간 관계를 종단 간(end-to-end)으로 통합함으로써, 객체 레이블이 필요 없이도 최소한의 데이터로도 강력한 맥락 모델링을 구현하며, LSUN 검증 세트에서 89.03%의 정확도를 달성한다.

ABSTRACT

Convolutional Neural Networks (CNNs) have been used extensively for computer vision tasks and produce rich feature representation for objects or parts of an image. But reasoning about scenes requires integration between the low-level feature representations and the high-level semantic information. We propose a deep network architecture which models the semantic context of scenes by capturing object-level information. We use Long Short Term Memory(LSTM) units in conjunction with object proposals to incorporate object-object relationship and object-scene relationship in an end-to-end trainable manner. We evaluate our model on the LSUN dataset and achieve results comparable to the state-of-art. We further show visualization of the learned features and analyze the model with experiments to verify our model's ability to model context.

연구 동기 및 목표

• 객체 간 고차원 맥락적 관계를 모델링하여 영상 분류의 의미적 갭을 해소하기 위해.
• 기본적인 CNN 모델이 복잡한 객체 간 상호작용과 장면 수준의 의미를 포착하지 못하므로, 이를 초월한 영상 분류 성능 향상.
• 객체 수준의 애너테이션을 요구하지 않고도 다중 객체 관계를 모델링할 수 있는 종단 간 훈련 가능한 아키텍처 개발.
• LSTM 기반 맥락 모델링이 영상 분류 정확도 향상에 기여하는지 검증하기 위해.
• 시각화 및 차폐 실험을 통해 모델의 특징 표현과 강건성 분석하기.

제안 방법

• 모델은 특징 맵에서 객체 제안을 추출하기 위해 영역 제안 네트워크(RPNs)를 사용하여 후보 객체 바운딩 박스를 생성한다.
• 각 객체 제안은 고정 크기의 깊은 특징을 추출하기 위해 RoI 풀링 레이어를 통과한다. 이는 사전 훈련된 CNN에서 유래한다.
• 객체 특징는 순차적으로 LSTM 네트워크에 입력되며, 각 타임스텝에서 현재 객체와 이전 맥락을 기반으로 은닉 상태가 갱신된다.
• 최종 LSTM 은닉 상태는 완전 연결 레이어와 소프트맥스를 통해 영상 분류를 위한 전역 이미지 표현으로 사용된다.
• 전체 네트워크는 교차 엔트로피 손실과 확률적 경사 하강법을 사용하여 종단 간 훈련된다.
• 객체의 중요도는 차폐 실험을 통해 평가되며, 바운딩 박스를 마스킹하고 소프트맥스 신뢰도의 감소를 측정한다.

실험 결과

연구 질문

• RQ1 LSTM을 통한 객체 수준 맥락 모델링이 표준 CNN을 초월하여 영상 분류 성능을 향상시킬 수 있는가?
• RQ2 LSTM을 통한 객체 제안의 순차적 처리가 객체 간 의미적 관계를 포착하는 데 모델의 능력을 향상시키는가?
• RQ3 객체 입력의 순서가 최종 분류 점수에 어떤 영향을 미치며, 어떤 객체가 장면 카테고리에 가장 분류적 특징을 갖는가?
• RQ4 정확한 영상 예측을 위해 모델이 특정 객체나 공간 구성에 얼마나 의존하는가?
• RQ5 객체 수준의 애너테이션 없이도 모델이 최첨단 성능을 달성할 수 있는가?

주요 결과

• Context-CNN 모델은 LSUN 검증 세트에서 89.03%의 정확도를 기록하여 이 벤치마크에서 상위 성능을 내는 모델 중 하나이다.
• 1000만 장의 LSUN 데이터셋에서 20만 장의 이미지만으로도 수렴함을 보여, 높은 데이터 효율성을 입증한다.
• 첫 번째 LSTM 입력(가장 높은 객체성 점수)을 차폐했을 때 정확도가 가장 크게 감소함—첫 번째 박스를 가림으로써 63.3%의 정확도 감소—이로써 그 중요성이 확인된다.
• 외관과 자세가 변하더라도, 침대가 침실, 소파가 거실의 특징 객체로 인식되는 등, 모델이 특징적인 객체를 기반으로 장면을 효과적으로 구분함을 보였다.
• 시각화 결과는 LSTM 특징가 시간 단계가 진행될수록 점점 더 분류적 특징을 가지게 되며, 맥락 표현을 구성할 수 있음을 확인한다.
• 제어 실험을 통해 LSTM 구성 요소가 필수적임을 확인하였으며, 이를 제거하면 성능이 심각하게 저하됨을 입증하였다.