[논문 리뷰] Using Deep Object Features for Image Descriptions

Ashutosh Mishra, Marcus Liwicki|arXiv (Cornell University)|2019. 02. 25.

Multimodal Machine Learning Applications참고 문헌 6인용 수 4

한 줄 요약

이 논문은 인코더-디코더 아키텍처의 입력으로 깊이 있는 물체 특징과 해당 레이블을 활용하는 새로운 이미지 캡션 생성 프레임워크를 제안한다. 특정으로 검출된 물체와 그들의 시각-의미적 임베딩에 초점을 맞추어, 더 정확하고 맥락적으로 관련된 캡션을 생성함으로써, 전체 이미지 특징을 사용하는 기존 방법보다 성능을 뛰어넘는다.

ABSTRACT

Inspired by recent advances in leveraging multiple modalities in machine translation, we introduce an encoder-decoder pipeline that uses (1) specific objects within an image and their object labels, (2) a language model for decoding joint embedding of object features and the object labels. Our pipeline merges prior detected objects from the image and their object labels and then learns the sequences of captions describing the particular image. The decoder model learns to extract descriptions for the image from scratch by decoding the joint representation of the object visual features and their object classes conditioned by the encoder component. The idea of the model is to concentrate only on the specific objects of the image and their labels for generating descriptions of the image rather than visual feature of the entire image. The model needs to be calibrated more by adjusting the parameters and settings to result in better accuracy and performance.

연구 동기 및 목표

• 전체 이미지 특징 대신 검출된 물체에 초점을 맞춤으로써 이미지 캡션 생성을 향상시키기 위해.
• 물체 수준의 특징과 레이블이 더 정확하고 의미적으로 기반된 캡션을 생성할 수 있는지 조사하기 위해.
• 물체의 시각적 특징과 클래스 레이블의 공동 표현으로부터 서술을 생성하는 데에 학습하는 모델을 개발하기 위해.
• 모델의 성능 향상을 위해 파rameter 조정과 아키텍처 개선을 통해 캘리브레이션을 수행하기 위해.

제안 방법

• 모델은 입력 이미지에서 특정 물체와 레이블을 추출하기 위해 사전 훈련된 물체 검출기를 사용한다.
• 검출된 물체의 시각적 특징은 심층 합성곱 신경망(예: ResNet)을 사용하여 임베딩된다.
• 물체 레이블은 학습된 워드 임베딩 레이어를 사용하여 임베딩되어 각 물체에 대한 텍스트 표현을 생성한다.
• 각 물체의 시각적 및 텍스트 임베딩을 연결하거나 어텐션 메커니즘을 적용하여 공동 임베딩을 형성한다.
• 인코더-디코더 아키텍처가 공동 물체 표현을 처리하여 자연어 캡션을 생성한다.
• 디코더는 인코더의 컨텍스트에 조건화된 어텐션 메커니즘을 사용하여 단어를 단계적으로 생성한다.

실험 결과

연구 질문

• RQ1 개별적으로 검출된 물체에 초점을 맞추는 것이 캡션의 품질과 정확도를 향상시킬 수 있는가?
• RQ2 캡션 생성에서 전체 이미지 특징을 사용하는 것과 비교해 물체 수준의 시각적 및 의미적 특징을 사용할 경우 어떤가?
• RQ3 물체 특징과 레이블의 공동 임베딩이 생성된 캡션의 의미 기반 성격을 어느 정도 향상시킬 수 있는가?
• RQ4 모델 캘리브레이션과 하이퍼파ram터 조정은 캡션 생성 성능에 어떤 영향을 미치는가?

주요 결과

• 전체 이미지 특징 대신 특정 검출된 물체에 집중함으로써 모델은 향상된 캡션 생성 성능를 달성한다.
• 물체의 공동 시각-의미 임베딩을 사용함으로써 더 정확하고 맥락적으로 관련된 서술이 가능해진다.
• 기본 모델 대비 프레임워크는 생성된 캡션에서 더 나은 국소화와 의미 일관성을 보여준다.
• 모델 파ram터와 하이퍼파ram터의 정교한 캘리브레이션 이후 성능 향상이 관찰된다.