[논문 리뷰] ReFormer: The Relational Transformer for Image Captioning
ReFormer은 관계 중심 손실을 통해 인코더에 관계 정보를 직접 통합함으로써 이미지 캡션 생성과 시각적 그래프 생성을 동시에 최적화하는 통합된 트랜스포머 기반 아키텍처를 제안한다. 캡션 생성 과정에서 객체 간 관계를 예측하도록 인코더를 훈련시킴으로써 ReFormer은 COCO 및 Visual Genome 데이터셋에서 이미지 캡션 생성(지표: CIDEr: 131.2)과 시각적 그래프 생성에서 최신 기술 수준의 성능을 달성하며, 정확도와 모델의 해석 가능성도 향상시킨다.
Image captioning is shown to be able to achieve a better performance by using scene graphs to represent the relations of objects in the image. The current captioning encoders generally use a Graph Convolutional Net (GCN) to represent the relation information and merge it with the object region features via concatenation or convolution to get the final input for sentence decoding. However, the GCN-based encoders in the existing methods are less effective for captioning due to two reasons. First, using the image captioning as the objective (i.e., Maximum Likelihood Estimation) rather than a relation-centric loss cannot fully explore the potential of the encoder. Second, using a pre-trained model instead of the encoder itself to extract the relationships is not flexible and cannot contribute to the explainability of the model. To improve the quality of image captioning, we propose a novel architecture ReFormer -- a RElational transFORMER to generate features with relation information embedded and to explicitly express the pair-wise relationships between objects in the image. ReFormer incorporates the objective of scene graph generation with that of image captioning using one modified Transformer model. This design allows ReFormer to generate not only better image captions with the bene-fit of extracting strong relational image features, but also scene graphs to explicitly describe the pair-wise relation-ships. Experiments on publicly available datasets show that our model significantly outperforms state-of-the-art methods on image captioning and scene graph generation
연구 동기 및 목표
- 객체 영역와 관계 예측 간의 정렬 불일치로 인해 기존의 이미지 캡션 생성 모델이 객체 간 관계를 효과적으로 학습하고 활용하지 못하는 한계를 해결한다.
- 기존 모델이 사전 훈련된 관계 추출기 의존성으로 인해 해석 가능성에 결함이 있음을 해결한다. 관계를 종단 간(end-to-end)으로 학습함으로써 문제 해결을 목표로 한다.
- 인코더 훈련 과정에 시각적 그래프 생성 목표를 통합하여 관계 특징이 명시적으로 학습되고 통합되도록 함으로써 캡션 품질 향상.
- 모델이 정확한 캡션과 해석 가능한 시각적 그래프를 동시에 생성할 수 있도록 하여 모델의 투명성과 언어적 표현력 향상.
- 캡션 생성과 시각적 그래프 생성을 동시에 최적화하는 것이 순차적 또는 독립적 훈련 방식보다 더 뛰어난 성능을 낼 수 있음을 입증한다.
제안 방법
- 이미지 캡션 생성과 시각적 그래프 생성을 동시에 학습할 수 있도록 단일 수정된 트랜스포머 인코더를 사용하는 새로운 ReFormer 아키텍처를 제안한다.
- 순차적 훈련 전략을 도입: 먼저 관계 중심 손실($\mathcal{L}_r$)을 사용해 인코더를 시각적 그래프 생성에 대해 사전 훈련한 후, 최대 우도 추정($\mathcal{L}_c$)을 사용해 캡션 생성에 대해 미세 조정한다.
- 트랜스포머의 자기주의 어텐션 메커니즘 내에서 쌍별 객체 상호작용을 모델링함으로써 관계 정보를 시각적 특징에 직접 통합한다.
- 지역적 객체 특징과 전역적 관계적 맥락을 모두 포착하는 다중 헤드 어텐션 메커니즘을 사용하여 모델이 객체 간 관계를 추론할 수 있도록 한다.
- 이중 헤드 디코더 헤드를 설계: 하나는 자연어 캡션 생성을 위해, 다른 하나는 시각적 그래프 내 주어-서술어-목적어 삼중항 예측을 위해 사용한다.
- 대비 학습 손실을 적용하여 객체 쌍의 시각적 표현을 그들의 예측된 관계와 정렬함으로써 일반화 능력과 강인성을 향상시킨다.
실험 결과
연구 질문
- RQ1캡션 생성과 시각적 그래프 생성을 동시에 최적화하는 것이 별도의 훈련 방식보다 더 나은 캡션 품질을 낼 수 있는가?
- RQ2인코더 훈련 과정에서 관계 중심 손실을 통합하면 이미지 특징 내에서 더 정확하고 해석 가능한 관계 표현이 가능해지는가?
- RQ3통합된 트랜스포머 아키텍처가 캡션 생성과 시각적 그래프 생성의 요구를 효과적으로 균형 잡고 성능 저하 없이 구현 가능한가?
- RQ4모델이 명시적인 시각적 그래프를 생성할 수록 캡션의 해석 가능성과 언어적 풍부성이 얼마나 향상되는가?
- RQ5ReFormer은 이미지 캡션 생성 및 시각적 그래프 생성 벤치마크에서 최신 기술 수준의 모델들과 비교해 어떤가?
주요 결과
- ReFormer은 COCO 데이터셋에서 CIDEr 점수 131.2를 기록하여 기존 최신 기술 수준의 모델들을 크게 앞서는 성능을 달성한다.
- Visual Genome 데이터셋에서 ReFormer은 세 가지 모두 시각적 그래프 평가 프로토콜(SGGen: 25.4 R@20, SGCls: 36.6 R@20, PredCls: 60.5 R@20)에서 최신 기술 수준의 결과를 기록한다.
- 절단 실험 결과, 관계 중심 손실($\mathcal{L}_r$)을 제거하면 CIDEr 점수는 131.2에서 128.9로 감소함으로써 이 손실이 캡션 품질 향상에 결정적인 역할을 한다는 것을 입증한다.
- 모델은 '한 남자가 라켓을 쥐고 있다'와 같은 명시적인 관계적 내용을 포함한 더 정확하고 세부적인 캡션을 생성한다. 이는 생성된 시각적 그래프에 의해 뒷받침된다.
- 정성적 결과 분석을 통해 ReFormer의 시각적 그래프는 캡션만으로는 유추할 수 없는 객체 속성과 상호작용을 추가로 드러내어 해석 가능성을 향상시킨다는 점을 입증한다.
- 순차적 훈련 전략은 시각적 그래프 생성에서의 관계 지식을 캡션 생성으로 효과적으로 전이시켜 인코더가 더 의미론적으로 기반을 둔 표현을 학습하도록 한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.