[논문 리뷰] Hierarchy Parsing for Image Captioning

Ting Yao, Yingwei Pan외 2명|arXiv (Cornell University)|2019. 09. 09.

Multimodal Machine Learning Applications참고 문헌 37인용 수 4

한 줄 요약

이 논문은 트리-LSTM를 사용하여 계층적으로 특징을 집계함으로써 개체, 영역, 전체 이미지의 세 수준 계층을 모델링하는 새로운 이미지 인코더 아키텍처인 HIerarchy Parsing (HIP)을 제안한다. HIP는 GCN 기반 특징과 결합되었을 때 COCO Karpathy 테스트 분할에서 CIDEr-D 점수 130.6을 기록하며, 이미지 캡셔닝 성능을 향상시켜 새로운 최고 성능을 달성한다.

ABSTRACT

It is always well believed that parsing an image into constituent visual patterns would be helpful for understanding and representing an image. Nevertheless, there has not been evidence in support of the idea on describing an image with a natural-language utterance. In this paper, we introduce a new design to model a hierarchy from instance level (segmentation), region level (detection) to the whole image to delve into a thorough image understanding for captioning. Specifically, we present a HIerarchy Parsing (HIP) architecture that novelly integrates hierarchical structure into image encoder. Technically, an image decomposes into a set of regions and some of the regions are resolved into finer ones. Each region then regresses to an instance, i.e., foreground of the region. Such process naturally builds a hierarchal tree. A tree-structured Long Short-Term Memory (Tree-LSTM) network is then employed to interpret the hierarchal structure and enhance all the instance-level, region-level and image-level features. Our HIP is appealing in view that it is pluggable to any neural captioning models. Extensive experiments on COCO image captioning dataset demonstrate the superiority of HIP. More remarkably, HIP plus a top-down attention-based LSTM decoder increases CIDEr-D performance from 120.1% to 127.2% on COCO Karpathy test split. When further endowing instance-level and region-level features from HIP with semantic relation learnt through Graph Convolutional Networks (GCN), CIDEr-D is boosted up to 130.6%.

연구 동기 및 목표

• 개체에서 이미지 수준까지의 계층적 시각적 구조를 모델링하여 이미지 캡셔닝 성능을 향상시키기 위해.
• 기존 신경망 기반 캡셔닝 모델에서의 조합적 시각적 이해 부족 문제를 해결하기 위해.
• 캡셔닝을 위한 다수준 시각적 표현을 향상시키는 유연하고 플러그인 방식의 특징 정련기 설계를 위해.
• 계층 인식 특징 학습의 일반화 능력을 인식 작업에 대해 검증하기 위해.

제안 방법

• 빠른 R-CNN과 마스크 R-CNN을 사용하여 영역과 개체를 검출하고 분할함으로써 세 수준의 계층을 형성한다.
• 잎 수준(개체)에서부터 루트 수준(전체 이미지)까지 트리 구조의 장기 단기 기억망(Tree-LSTM)이 계층적 맥락을 집계하여 특징을 처리한다.
• 시각적 요소 간의 유사성 간선을 포함한 의미적 그래프를 구성함으로써 개체 및 영역 특징을 향상시킨다. 이는 시각적 관계를 모델링한다.
• 그래프 컨volution 네트워크(GCN)를 의미적 그래프에 적용하여 관계적 맥락을 기반으로 개체 및 영역 특징을 풍부하게 한다.
• HIP에서 유도된 이미지 수준, 영역 수준, 개체 수준의 특징을 융합하여 표준 어텐션 기반 LSTM 디코더에 입력하여 문장 생성을 수행한다.
• 프레임워크는 기존의 캡셔닝 모델인 Up-Down 및 GCN-LSTM과 호환되도록 플러그 앤 플레이 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 개체에서 영역으로, 전체 이미지로 이르는 계층적 구조를 모델링하면 이미지 캡셔닝 성능이 향상되는가?
• RQ2 Tree-LSTM 기반의 계층적 특징 집계가 캡셔닝을 위한 시각적 표현을 어떻게 향상시키는가?
• RQ3 GCN를 통한 시각적 관계 통합이 계층적 특징 융합을 초월하여 캡셔닝 품질을 얼마나 향상시키는가?
• RQ4 제안된 계층 파싱 프레임워크는 캡셔닝 외의 다른 비전 작업(예: 인식)으로 일반화될 수 있는가?
• RQ5 성능 측면에서 최적의 계층 구조 생성 임계값은 무엇인가?

주요 결과

• HIP와 상향식 어텐션 기반 LSTM 디코더를 조합하면 COCO Karpathy 테스트 분할에서 CIDEr-D 점수가 120.1%에서 127.2%로 상승한다.
• GCN를 사용하여 의미 관계를 모델링한 경우, CIDEr-D 점수는 130.6%에 도달하여 COCO에서 새로운 최고 성능을 기록한다.
• 인간 평가 결과, GCN-LSTM+HIP 캡처의 76.5%가 인간이 작성한 캡처와 동등하거나 그 이상의 품질을 보이며, 85.2%가 터닝 테스트에 통과한다.
• 계층 구조 생성에 최적의 임계값 파라미터 ε는 0.1이며, 이는 METEOR와 CIDEr-D 양쪽 성능을 최대화한다.
• 인식 작업에서 HIP 특징는 Up-Down에서 평균 풀링한 특징 대비 C-F1에서 2%, O-F1에서 3.2% 향상되어 일반화 능력을 입증한다.
• 제거 실험 결과, 계층적 Tree-LSTM과 GCN 기반 특징 향상이 성능 향상에 모두 필수적임을 확인한다.