[논문 리뷰] How hard can it be? Estimating the difficulty of visual search in an image

Radu Tudor Ionescu, Bogdan Alexe외 4명|arXiv (Cornell University)|2017. 05. 23.

Multimodal Machine Learning Applications참고 문헌 40인용 수 6

한 줄 요약

이 논문은 PASCAL VOC 2012에서의 인위적 주석을 활용하여, 객체 탐지 작업에 대한 인간의 반응 시간을 추정함으로써 영상 내 시각적 검색 난이도를 예측하는 딥러닝 기반 방법을 제안한다. 컨volutional 신경망(CNN)의 특징을 기반으로 회귀 모델을 훈련시켜 이미지 쌍의 난이도 순서를 75% 정확도로 정렬하고, 약한 감독 기반 객체 국소화 성능을 8% 향상시키며, 준감독 분류 성능을 1% 향상시켰다.

ABSTRACT

We address the problem of estimating image difficulty defined as the human response time for solving a visual search task. We collect human annotations of image difficulty for the PASCAL VOC 2012 data set through a crowd-sourcing platform. We then analyze what human interpretable image properties can have an impact on visual search difficulty, and how accurate are those properties for predicting difficulty. Next, we build a regression model based on deep features learned with state of the art convolutional neural networks and show better results for predicting the ground-truth visual search difficulty scores produced by human annotators. Our model is able to correctly rank about 75% image pairs according to their difficulty score. We also show that our difficulty predictor generalizes well to new classes not seen during training. Finally, we demonstrate that our predicted difficulty scores are useful for weakly supervised object localization (8% improvement) and semi-supervised object classification (1% improvement).

연구 동기 및 목표

• 영상 내 객체 탐지 작업에 대한 인간의 반응 시간으로 시각적 검색 난이도를 정량화하는 것.
• 시각적 검색 난이도와 상관관계가 있는 인간이 해석할 수 있는 영상 특성들을 규명하는 것.
• CNN 특징을 사용하여 난이도를 예측하는 딥러닝 모델을 개발하고, 훈련 중에 볼 수 없는 클래스로 일반화하는 것.
• 예측된 난이도 점수가 약한 감독 기반 및 준감독 기반 객체 인식 성능 향상에 기여하는지 평가하는 것.
• 인간이 주석한 난이도 점수 데이터셋과 공개된 난이도 예측 도구를 배포하는 것.

제안 방법

• PASCAL VOC 2012의 10,000개 이상의 영상에 대해 커뮤니티 기반 플랫폼을 통해 인간의 반응 시간 주석을 수집하였다.
• 반응 시간을 난이도 점수로 변환하고, 저수준 및 고수준 영상 특성과의 상관관계를 분석하였다.
• 최신의 컨volutional 신경망(CNN)에서 추출한 딥 특징을 사용하여 난이도를 예측하는 회귀 모델을 훈련시켰다.
• 이미지 쌍 간의 순서 정확도를 측정하여 모델 성능을 평가하였으며, 난이도를 올바르게 순서대로 정렬하는 빈도를 측정하였다.
• 예측된 난이도 점수를 활용하여 약한 감독 기반 객체 국소화(WSOL) 및 활성 학습 히우리스틱을 통한 준감독 분류에 적용하였다.
• 교수학습 기반 전략을 활용하여 예측된 난이도에 따라 이미지를 선택하여 모델 훈련을 이끄는 방식을 사용하였다.

실험 결과

연구 질문

• RQ1 저수준 또는 고수준 영상 특성 중에서 인간의 시각적 검색 난이도와 가장 강하게 상관관계가 있는 것은 무엇인가?
• RQ2 사전 훈련된 CNN에서 추출한 딥 특징이 인간이 평가한 시각적 검색 난이도를 효과적으로 예측할 수 있는가?
• RQ3 제안된 난이도 예측 모델이 훈련 중에 볼 수 없었던 새로운 객체 클래스로 잘 일반화되는가?
• RQ4 예측된 난이도 점수가 약한 감독 기반 객체 국소화 성능 향상에 기여하는가?
• RQ5 난이도 인식 샘플링 전략이 준감독 기반 객체 분류 정확도 향상에 기여하는가?

주요 결과

• 모델은 이미지 쌍의 시각적 검색 난이도 순서를 75%의 정확도로 올바르게 정렬하였다.
• 딥 특징가 저수준 영상 특성보다 난이도 예측에 뛰어나며, 이는 고수준 인지 기능과의 연관성을 시사한다.
• 새로운 객체 클래스로의 일반화 성능이 뛰어나, 겹치지 않는 이미지가 포함된 PASCAL VOC 2007에서 강력한 성능을 보였다.
• 약한 감독 기반 객체 국소화에서 예측된 난이도 점수를 통합함으로써 CorLoc 성능이 8% 향상되었다.
• 준감독 기반 객체 분류에서 예측된 난이도를 활용한 샘플 선택 전략이 mAP를 1% 향상시켰다.
• 가장 우수한 준감독 학습 전략은 최소 신뢰도 예측과 예측된 난이도를 조합한 것으로, 88.1%의 mAP를 기록하여 무작위 및 신뢰도 기반 선택 전략을 모두 능가했다.