[논문 리뷰] Object Recognition with and without Objects

Zhuotun Zhu, Lingxi Xie외 1명|arXiv (Cornell University)|2016. 11. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 6

한 줄 요약

이 논문은 이미지의 전경(객체) 및 배경(맥락) 영역에 대해 별도로 딥 네ural 네트워크를 훈련시는 방법을 제안하며, 전경 정보 없이 배경 영역만으로도 강력한 인식 성능을 달성하는 모델이 있음을 입증한다(전체 정확도 14.4%). 이는 맥락만을 사용하는 경우 인간의 성능을 뛰어넘는 결과를 보여주며, 이러한 네트워크를 조합함으로써 기준 모델을 초월하는 인식 정확도 향상을 이룬다. 이는 인간과 딥 네트워크 간의 시각적 추론 메커니즘이 상이함을 드러낸다.

ABSTRACT

While recent deep neural networks have achieved a promising performance on object recognition, they rely implicitly on the visual contents of the whole image. In this paper, we train deep neural net- works on the foreground (object) and background (context) regions of images respectively. Consider- ing human recognition in the same situations, net- works trained on the pure background without ob- jects achieves highly reasonable recognition performance that beats humans by a large margin if only given context. However, humans still outperform networks with pure object available, which indicates networks and human beings have different mechanisms in understanding an image. Furthermore, we straightforwardly combine multiple trained networks to explore different visual cues learned by different networks. Experiments show that useful visual hints can be explicitly learned separately and then combined to achieve higher performance, which verifies the advantages of the proposed framework.

연구 동기 및 목표

• 딥 네럴 네트워크가 객체 정보 없이 배경(맥락) 영역에서만 의미 있는 시각적 표현을 학습할 수 있는지 조사하기.
• 객체 정보가 포함된 전경 또는 배경 영역만으로 훈련하거나 테스트할 경우 인간과 네럴 네트워크의 객체 인식 성능를 비교하기.
• 다른 시각적 신호(전경, 배경, 하이브리드)로 훈련된 네트워크를 조합함으로써 전체 인식 성능 향상 여부를 평가하기.
• 다른 이미지 영역에서의 시각 패턴을 명시적으로 학습하고 융합하는 것이 객체 인식에 가능하고 유용한지 탐색하기.

제안 방법

• ImageNet ILSVRC2012 데이터셋에서 정답 바운딩 박스를 이용해 이미지를 전경(FGSet), 배경(BGSet), 하이브리드(HybridSet)로 분리하여 전용 데이터셋을 구축하였다.
• 표준 ImageNet 훈련 프rotocol를 사용하여 FGSet, BGSet, 그리고 병합된 세트에 대해 각각 별도의 딥 컨volution 네럴 네트워크(FGNet, BGNet, HybridNet, OrigNet)를 훈련시켰다.
• 정답 바운딩 박스가 있는지 여부에 따라 테스트 이미지에 대해 지도형(박스 사용) 및 비지도형(객체 제안 기반) 추론 설정을 적용하여 네트워크를 적용하였다.
• 다양한 네트워크의 예측을 조기 융합 또는 후기 융합 방식으로 융합하였으며, 특히 FGNet, BGNet, HybridNet의 선형 조합를 통해 성능 향상을 시험하였다.
• BGNet의 특징 맵을 시각화하여 FGNet이 학습하지 못한 맥락 전용 패턴을 식별함으로써, 서로 다른 시각적 표현이 존재함을 검증하였다.
• OrigNet을 사용한 추론 시 100개의 고밀도 샘플링 패치를 활용한 분석을 통해, 네트워크 조합의 성능 향상 원인이 데이터 증강이 아닌 네트워크 융합 때문임을 고립하여 분석하였다.

실험 결과

연구 질문

• RQ1 객체 정보 없이 배경(맥락) 영역만으로 훈련된 딥 네럴 네트워크가 합리적인 객체 인식 성능를 달성할 수 있는가?
• RQ2 동일한 데이터로 훈련된 네럴 네트워크와 비교할 때 인간의 순수 배경 영역 인식 성능는 어떻게 되는가?
• RQ3 다른 시각적 신호(전경, 배경, 하이브리드)로 훈련된 네트워크를 조합하면 단일 네트워크 기준 모델보다 인식 정확도 향상이 이루어지는가?
• RQ4 네트워크 조합으로 인한 성능 향상의 정도는 특징 융합 때문인지, 데이터 증강 또는 앙상블 효과 때문인지 어느 정도인가?

주요 결과

• 전경 정보 없이 배경 영역만으로 훈련된 딥 네럴 네트워크가 배경 검증 세트에서 14.4%의 top-1 정확도와 거의 30%의 top-5 정확도를 달성하여, 맥락 자체가 인식에 매우 유용한 시각적 정보를 포함하고 있음을 입증하였다.
• 전경(객체)만 보일 경우 인간이 딥 네트워크보다 유의미하게 뛰어난 성능를 보였으며, 이는 네트워크가 인간과 다른 시각적 신호에 의존하고 있음을 시사한다.
• 딥 네트워크는 순수 배경 인식에서 비전문가 인간보다 뛰어난 성능를 보였으며, 동일한 작업에서 14.4%의 top-1 정확도를 기록한 반면 인간의 성능는 약 10% 수준이었다.
• HybridNet과 BGNet을 조합함으로써 HybridNet 단독 대비 top-1 정확도 2.50% 향상, top-5 정확도 2.47% 향상되었으며, 이는 상호보완적인 시각적 신호가 성능 향상에 기여함을 보여준다.
• HybridNet과 OrigNet100(100개의 코너 추론)을 조합한 결과 top-1 정확도 60.80%를 기록하여, OrigNet100의 58.08%보다 유의미하게 높았으며, 이는 성능 향상이 데이터 증강 때문이 아니라는 것을 증명한다.
• 정확한 객체 레이블이 없는 비지도형 설정에서도 네트워크 조합으로 인한 성능 향상이 뚜렷했으며, 이는 네트워크가 맥락을 통해 객체 위치를 암묵적으로 추론할 수 있음을 시사한다.