[논문 리뷰] Predicting Deep Zero-Shot Convolutional Neural Networks using Textual Descriptions

Jimmy Ba, Kevin Swersky외 2명|arXiv (Cornell University)|2015. 06. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 136

한 줄 요약

이 논문은 인간이 수작업으로 정의한 특성 없이 위키백과 기사와 같은 텍스트 기반 기술서로부터 직접 합성곱 및 완전 연결 계층의 분류기 가중치를 예측하는 새로운 제로샷 학습 프레임워크를 제안한다. CUB-200-2010 및 옥스포드 꽃 데이터셋에서 다층 컨볼루션 네트워크 특징과 엔드 투 엔드 학습을 활용함으로써, ROC-AUC 및 정밀도-재현율 지표에서 최신 기술 수준을 달성하며 이전 방법들을 크게 능가한다.

ABSTRACT

One of the main challenges in Zero-Shot Learning of visual categories is gathering semantic attributes to accompany images. Recent work has shown that learning from textual descriptions, such as Wikipedia articles, avoids the problem of having to explicitly define these attributes. We present a new model that can classify unseen categories from their textual description. Specifically, we use text features to predict the output weights of both the convolutional and the fully connected layers in a deep convolutional neural network (CNN). We take advantage of the architecture of CNNs and learn features at different layers, rather than just learning an embedding space for both modalities, as is common with existing approaches. The proposed model also allows us to automatically generate a list of pseudo- attributes for each visual category consisting of words from Wikipedia articles. We train our models end-to-end us- ing the Caltech-UCSD bird and flower datasets and evaluate both ROC and Precision-Recall curves. Our empirical results show that the proposed model significantly outperforms previous methods.

연구 동기 및 목표

• 온라인 백과사전과 같은 풍부한 텍스트 데이터를 활용하여 대규모 이미지 데이터셋에 대한 세분화된 시각적 주석을 수집하는 데 도전하는 것.
• 제로샷 학습에서 수작업으로 정의된 특성의 필요성을 제거하기 위해 텍스트 기반 기술서에서 자동으로 의사 특성(예: pseudo-attributes)을 생성하는 것.
• 텍스트 특징을 사용하여 합성곱 및 완전 연결 계층의 가중치를 모두 예측함으로써 제로샷 분류 성능을 향상시키는 것.
• 다양한 손실 함수와 특징 융합 전략이 여러 컨볼루션 네트워크 계층에서 어떻게 영향을 미치는지 평가하는 것.
• 텍스트 기반 모델이 시각적 특징과 일치하는 의미론적 의미를 지닌 표현을 학습할 수 있음을 보여주는 것.

제안 방법

• 모델은 위키백과 기사의 TF-IDF 특징을 처리하기 위해 다층 퍼셉트론(MLP)을 사용하여 컨볼루션 네트워크의 최종 완전 연결 계층과 중간 합성곱 계층의 분류기 가중치를 예측한다.
• 학습된 필터(텍스트에서 예측된)를 중간 컨볼루션 네트워크 특징 맵에 적용하고, 글로벌 평균 풀링을 통해 점수를 계산하는 컨볼루션 분류기 모델을 도입한다.
• 제로샷 일반화와 볼 수 있는 클래스에 대한 도메인 내 성능을 동시에 최적화하기 위해 공동 손실 함수를 사용하여 엔드 투 엔드로 모델을 학습한다.
• 여러 컨볼루션 네트워크 계층의 특징을 융합하고, 그 영향을 분류 성능에 미치는 영향을 경험적으로 평가한다.
• 텍스트 입력에서 단어 제거에 따른 분류 성능 민감도를 측정함으로써 의사 특성(예: pseudo-attributes)을 발견한다. 이는 주로 분류에 기여하는 결정적 단어를 식별한다.
• 텍스트 특징이 이미지 분류기 가중치를 예측하는 공동 임베딩 공간을 학습함으로써, 학습 이미지가 없이도 제로샷 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 원시 텍스트 기반 기술서(예: 위키백과 기사)로부터 딥 네URAL 네트워크가 직접 컨볼루션 네트워크 분류기 가중치를 예측할 수 있는가? 이를 통해 제로샷 이미지 분류가 가능해지는가?
• RQ2 최종 계층의 가중치뿐 아니라 합성곱 계층과 완전 연결 계층의 가중치를 모두 예측함으로써, 제로샷 일반화 성능이 향상되는가?
• RQ3 모델이 텍스트에서 의미 있는 의사 특성(예: pseudo-attributes)을 자동으로 발견할 수 있는가? 이는 시각적 특성과 관련이 있는가?
• RQ4 다양한 손실 함수(예: 트리플릿, 콘트라스트)는 제로샷 및 검색 벤치마크 성능에 어떻게 영향을 미치는가?
• RQ5 다른 컨볼루션 네트워크 계층의 특징은 분류 정확도 향상과 정확성 향상에 어느 정도 기여하는가?

주요 결과

• 모델은 전체 데이터셋으로 훈련된 경우 옥스포드 꽃 데이터셋에서 ROC-AUC 0.77, CUB-200-2010 데이터셋에서 ROC-AUC 0.66를 기록하며 이전 최신 기술 수준을 뛰어넘는 성능을 달성한다.
• CUB-200-2010 데이터셋에서 공동 fc+conv 모델을 사용할 경우 평균 정밀도-재현율(mAP)이 0.62에 도달하여 이전 접근 방식보다 뚜렷이 향상된 성능을 보였다.
• 학습된 클래스에 대한 성능(상위-1 정확도 약 60%)은 추가 주석 정보를 사용하는 최신 기술 수준의 세분화된 분류기와 유사한 성능이다.
• 민감도 분석 결과, 'tanager', 'purplish', 'variable' 등의 단어가 알려지지 않은 새 종을 분류하는 데 매우 영향을 미치는 것으로 나타나, 효과적인 의사 특성 발견이 이루어졌음을 시사한다.
• 예측된 가중치를 사용해 가장 유사한 이미지를 시각화한 결과, 모델은 시각적으로 유사한 클래스를 성공적으로 검색하였다. 이는 텍스트 임베딩이 의미론적이고 시각적 관계를 의미 있게 포착하고 있음을 확인한다.
• 여러 컨볼루션 네트워크 계층의 특징을 융합하면 성능 향상이 이루어지며, 최고의 성능는 중간 합성곱 특징과 최종 완전 연결 계층 특징을 모두 사용했을 때 달성되었다.