[논문 리뷰] A novel image tag completion method based on convolutional neural network

Yanyan Geng, Zhang, Guohui외 8명|arXiv (Cornell University)|2017. 03. 02.

Image Retrieval and Classification Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 시각적 특징을 추출하기 위해 복소수 신경망(CNNs)을 활용하고, 완전한 태그 벡터를 부분 태그에서 추정하기 위해 선형 예측기를 사용하는 새로운 이미지 태그 보완 방법을 제안한다. 제약 조건이 붙은 최소화 문제를 통해 CNN 가중치, 선형 예측기 파rameter, 완전한 태그를 동시에 최적화함으로써, Corel, Labelme, Flickr와 같은 벤치마크 데이터셋에서 이미지 애너테이션 및 검색 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In the problems of image retrieval and annotation, complete textual tag lists of images play critical roles. However, in real-world applications, the image tags are usually incomplete, thus it is important to learn the complete tags for images. In this paper, we study the problem of image tag complete and proposed a novel method for this problem based on a popular image representation method, convolutional neural network (CNN). The method estimates the complete tags from the convolutional filtering outputs of images based on a linear predictor. The CNN parameters, linear predictor, and the complete tags are learned jointly by our method. We build a minimization problem to encourage the consistency between the complete tags and the available incomplete tags, reduce the estimation error, and reduce the model complexity. An iterative algorithm is developed to solve the minimization problem. Experiments over benchmark image data sets show its effectiveness.

연구 동기 및 목표

• 실세계 응용에서 부분적으로만 제공되는 이미지 태그로 인해 효과적인 이미지 검색 및 애너테이션이 어려운 문제를 해결한다.
• 더 구분력 있는 시각적 특징을 얻기 위해 깊이 있는 콘볼루션 표현을 활용하여 태그 보완 성능을 향상시킨다.
• CNN 파rameter, 선형 예측기 가중치, 완전한 태그 할당을 동시에 최적화하는 통합 학습 프레임워크를 개발한다.
• 예측된 태그와 가용한 부분 태그 간의 일관성을 보장하고, 시각적으로 유사한 이미지 간의 태그 벡터 유사성을 증진시키기 위해 정규화를 통합한다.
• 희소성 제약과 구조 최적화를 통해 모델 복잡도와 추정 오차를 최소화한다.

제안 방법

• 이미지 패치에서 계층적인 시각적 특징을 추출하기 위해 CNN을 사용하여 필터 반응에 대한 max-pooling을 통해 콘볼루션 표현 벡터를 생성한다.
• CNN 특징 벡터 $ \mathbf{y} $ 를 완전한 태그 할당 벡터 $ \mathbf{t} $ 로 매핑하기 위해 선형 예측기 모델 $ \mathbf{t} = U\mathbf{y} - \mathbf{b} $ 을 적용한다.
• 마스크 행렬 $ \Phi $ 를 사용하여 예측된 태그와 가용한 부분 태그 간의 재구성 오차를 최소화하는 공동 최적화 문제를 설정한다.
• 콘볼루션 유사성 기반으로 시각적으로 유사한 이미지의 태그 예측 간의 거리를 최소화하여 태그 벡터 간의 일관성을 강제한다.
• 태그 할당 벡터에 희소성 페널티를 적용하여 모델 복잡도를 감소시키고 일반화 성능을 향상시킨다.
• 비볼록 최소화 문제를 반복적으로 CNN 가중치, 선형 예측기 파rameter, 태그 행렬을 업데이트하는 교대 기울기 하강 알고리즘으로 해결한다.

실험 결과

연구 질문

• RQ1 기존의 수작업으로 구성된 특징에 비해 콘볼루션 네트워크 기반의 시각적 표현은 이미지 태그 보완 정확도를 향상시키는가?
• RQ2 CNN 파arameter, 선형 예측기, 완전한 태그를 동시에 학습하는 공동 최적화 프레임워크는 얼마나 효과적인가?
• RQ3 이미지 간의 시각적 유사성을 통합할 경우 태그 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 희소성 정규화를 포함시키면 태그 보완 작업에서 일반화 성능 향상과 과적합 방지에 기여하는가?
• RQ5 이러한 방법은 이미지 애너테이션 및 태그 기반 이미지 검색 모두에서 최신 기술 수준의 접근법과 비교해 어떻게 성능을 냅니다?

주요 결과

• Corel 데이터셋에서 제안된 방법은 Precision@5가 0.47을 기록하여 Lin et al.(0.35) 및 Li et al.(0.44)와 같은 기존 방법들을 능가했다.
• Labelme 데이터셋에서 방법은 Precision@5가 0.30을 기록하여 Wu et al.(0.23) 및 Li et al.(0.25)를 초월했다.
• Flickr 데이터셋에서 방법은 Precision@5가 0.28을 기록하여 Feng et al.(0.20) 및 Lin et al.(0.23)의 성능을 뛰어넘었다.
• 이미지 검색 작업에서 방법은 Corel에서 Pos@Top 점수 0.73을 기록하여 Lin et al.(0.64) 및 Li et al.(0.68)를 능가했다.
• 교대 기울기 하강 알고리즘이 Corel 데이터셋에서 40회 이내에 수렴하여 안정적이고 효율적인 최적화를 보였다.