[논문 리뷰] Bidirectional Beam Search: Forward-Backward Inference in Neural Sequence Models for Fill-in-the-Blank Image Captioning

Qing Sun, Stefan Lee외 1명|arXiv (Cornell University)|2017. 05. 24.

Multimodal Machine Learning Applications참고 문헌 31인용 수 5

한 줄 요약

이 논문은 이방향 신경 시퀀스 모델에서 1-Best 및 M-Best 디코딩을 위한 효율적인 근사 추론 알고리즘인 이방향 빔 서치(BiBS)를 소개한다. 이는 시퀀스 생성 중 과거 및 미래 맥락을 동시에 고려할 수 있도록 한다. 새로운 빈칸 메꾸기 이미지 캡션 작업과 Visual Madlibs에서 평가된 BiBS는 단방향 빔 서치 및 이전 방법들을 뛰어넘으며, 더 일관되고 정확한 시퀀스 완성에 이방향 맥락을 효과적으로 활용함으로써 BLEU-1 및 BLEU-2 지표에서 최고 성능을 기록한다.

ABSTRACT

We develop the first approximate inference algorithm for 1-Best (and M-Best) decoding in bidirectional neural sequence models by extending Beam Search (BS) to reason about both forward and backward time dependencies. Beam Search (BS) is a widely used approximate inference algorithm for decoding sequences from unidirectional neural sequence models. Interestingly, approximate inference in bidirectional models remains an open problem, despite their significant advantage in modeling information from both the past and future. To enable the use of bidirectional models, we present Bidirectional Beam Search (BiBS), an efficient algorithm for approximate bidirectional inference.To evaluate our method and as an interesting problem in its own right, we introduce a novel Fill-in-the-Blank Image Captioning task which requires reasoning about both past and future sentence structure to reconstruct sensible image descriptions. We use this task as well as the Visual Madlibs dataset to demonstrate the effectiveness of our approach, consistently outperforming all baseline methods.

연구 동기 및 목표

• 이방향 신경 시퀀스 모델에 대한 효율적인 근사 추론 알고리즘이 부족한 문제를 해결하기 위해, 과거와 미래 맥락을 모두 모델링할 수 있지만 추론 문제로 인해 여전히 활용되지 못하는 모델을 대상으로 한다.
• 전방 및 후방 의존성을 고려할 수 있도록 빔 서치를 확장하여 이방향 RNN에서 1-Best 및 M-Best 디코딩을 가능하게 하는 새로운 추론 방법을 개발한다.
• 결측된 구간의 양쪽에서 맥락을 통합할 수 있는 능력을 테스트하는 도전적인 새로운 벤치마크인 '빈칸 메꾸기 이미지 캡션'을 제작한다.
• 표준 빔 서치가 단방향 맥락 제한으로 인해 이 작업에서 실패하여 문법적으로 잘못되거나 일관성 없는 완성 결과를 내는 것을 입증한다.
• BiBS를 실제 시퀀스 완성 작업에 적용하여, 검색 기반 방법을 포함한 강력한 기준선들보다 일관되게 성능 향상을 보임을 평가한다.

제안 방법

• BiBS는 각 시간 단계에서 전방 및 후방 은닉 상태를 유지함으로써 디코딩 중 과거 및 미래 맥락에 조건을 붙일 수 있도록 기존 빔 서치를 확장한다.
• 알고리즘은 전방 및 후방 확률을 조합하여 출력 시퀀스의 결합 분포를 근사함으로써 시퀀스 점수를 효율적으로 계산할 수 있도록 한다.
• 각 빔 단계에서 BiBS는 전방 및 후방 RNN 상태를 사용하여 부분 시퀀스를 확장하고, 병합 점수 기반으로 상위-B개의 시퀀스를 선택한다.
• 이 방법은 빔 서치 과정에서 다수의 후보 시퀀스를 유지함으로써 1-Best 및 M-Best 디코딩을 지원한다.
• 전방 및 후방 가능도를 조합하는 공동 점수 함수를 사용한다: P(y_t | h^f_t, h^b_t) ≈ P(y_t | h^f_t) × P(y_t | h^b_t), 일관성을 위해 조정된다.
• 이 방법은 시각적 및 언어적 입력에 대해 종단간(end-to-end)으로 훈련 및 추론을 수행하는 CNN+LSTM 프레임워크에 통합된다.

실험 결과

연구 질문

• RQ1 이방향 RNN에 대해 1-Best 및 M-Best 디코딩을 지원하는 효율적인 근사 추론 알고리즘을 개발할 수 있는가?
• RQ2 전방 및 후방 의존성의 공동 모델링이 빈칸 메꾸기 작업에서 시퀀스 완성에 어떻게 기여하는가?
• RQ3 BiBS는 Visual Madlibs와 같은 시퀀스 완성 벤치마크에서 단방향 빔 서치 및 검색 기반 기준선을 뛰어넘는가?
• RQ4 결측된 구간이 있는 환경에서 BiBS는 표준 빔 서치보다 더 문법적으로 올바르고 맥락적으로 일관된 완성 결과를 생성할 수 있는가?
• RQ5 알 수 없는 빈칸 길이에 비해 BiBS의 성능에 어떤 영향을 미치는가?

주요 결과

• 알 수 있는 빈칸 길이를 가진 Visual Madlibs 데이터셋에서 BiBS는 BLEU-2 점수 0.216을 기록하여 모든 생성 기반 기준선을 뛰어넘고, nCCA 오라클 방법을 초월했다.
• 알 수 없는 빈칸 길이의 경우 BiBS는 BLEU-2 점수 0.190을 기록하여 모든 생성 기반 기준선을 뛰어넘으며, 검색 기반 방법과도 경쟁 가능했다.
• BiBS는 단방향 빔 서치 출력에서 흔히 발생하는 문법 오류 및 급격한 전환(예: 'with a how to')을 크게 감소시켰다.
• BiBS는 유형-7(객체 기능) 및 유형-12(쌍 관계) Visual Madlibs 질문 유형에서 모두 최고 성능을 기록했다.
• BiBS는 다양한 빈칸 길이에 대해 강건성을 보이며, 알려진 길이 및 알 수 없는 길이 설정 모두에서 단방향 빔 서치 및 기타 기준선들보다 일관되게 향상된 성능을 보였다.
• 결과는 이방향 모델링과 적절한 추론이 일관된 시퀀스 완성에 필수적이며, BiBS가 이를 실질적으로 가능하게 한다는 것을 확인시켰다.