[논문 리뷰] Diverse Beam Search: Decoding Diverse Solutions from Neural Sequence Models

Ashwin K. Vijayakumar, Michael Cogswell외 5명|arXiv (Cornell University)|2016. 10. 07.

Multimodal Machine Learning Applications참고 문헌 18인용 수 358

한 줄 요약

다양성 빔 검색(DBS)이 다양성 증가 목표를 사용하여 다양한 출력을 디코딩하고, 표준 빔 검색에 비해 최소한의 오버헤드로 다중 작업에서 상위-1 해를 향상시킵니다.

ABSTRACT

Neural sequence models are widely used to model time-series data. Equally ubiquitous is the usage of beam search (BS) as an approximate inference algorithm to decode output sequences from these models. BS explores the search space in a greedy left-right fashion retaining only the top-B candidates - resulting in sequences that differ only slightly from each other. Producing lists of nearly identical sequences is not only computationally wasteful but also typically fails to capture the inherent ambiguity of complex AI tasks. To overcome this problem, we propose Diverse Beam Search (DBS), an alternative to BS that decodes a list of diverse outputs by optimizing for a diversity-augmented objective. We observe that our method finds better top-1 solutions by controlling for the exploration and exploitation of the search space - implying that DBS is a better search algorithm. Moreover, these gains are achieved with minimal computational or memory over- head as compared to beam search. To demonstrate the broad applicability of our method, we present results on image captioning, machine translation and visual question generation using both standard quantitative metrics and qualitative human studies. Further, we study the role of diversity for image-grounded language generation tasks as the complexity of the image changes. We observe that our method consistently outperforms BS and previously proposed techniques for diverse decoding from neural sequence models.

연구 동기 및 목표

• 전통적인 빔 검색을 넘어 신경 시퀀스 디코딩에서 출력 다양성을 포착해야 할 필요성을 제시한다.
• 다양성 증강 디코딩 방법으로 Diverse Beam Search(DBS)를 도입한다.
• DBS가 작업 전반에서 BS와 유사한 계산 비용을 유지하면서 상위-1 성능을 향상시킴을 보인다.

제안 방법

• 디코딩 중 다양한 후보 시퀀스를 유도하는 다양성 증강 목적 함수를 제안한다.
• 빔 탐색 스타일의 프로세스를 유지하되 거의 중복되지 않는 다수의 다양한 가설을 선택한다.
• 이미지 자막 생성, 기계 번역, 시각적 질문 생성에 대한 적용 가능성을 보여준다.
• 표준 정량 지표와 정성적 인간 연구를 사용하여 평가한다.
• 이미지의 복잡도가 달라질 때 다양성이 언어 생성에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 다양성 증강 디코딩이 표준 빔 검색보다 더 다양하고 잠재적으로 더 나은 상위-1 출력을 낼 수 있는가?
• RQ2 DBS가 결과를 향상시키면서도 빔 검색과 유사한 계산 및 메모리 오버헤드를 유지하는가?
• RQ3 출력 다양성이 이미지 자막 생성, 기계 번역, 시각적 질문 생성에서 성능에 어떤 영향을 미치는가?
• RQ4 이미지 복잡도가 다양한 디코딩의 유용성에 미치는 영향은 무엇인가?

주요 결과

• DBS는 작업 전반에서 표준 빔 검색 및 이전의 다양 디코딩 방법을 지속적으로 능가한다.
• DBS는 추가 계산이나 메모리 오버헤드를 최소화하면서 다양한 해 가설을 제공한다.
• DBS는 이미지 자막 생성, 기계 번역, 시각적 질문 생성에서 상위-1 품질을 향상시킨다.
• 이미지 복잡도가 증가함에 따라 언어 생성에서 다양성이 역할을 하며, DBS가 이를 효과적으로 관리한다.
• 결과는 정량적 지표와 정성적 인간 연구 모두로 뒷받침된다.