[논문 리뷰] A Better Variant of Self-Critical Sequence Training

Ruotian Luo|arXiv (Cornell University)|2020. 03. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 28

한 줄 요약

이 논문은 Self-Critical Sequence Training (SCST)의 변종을 제안하며, 독립적으로 샘플된 K장의 캡션에서 평균을 취한 샘플 평균 기반값으로 탐욕적 디코딩 기반값을 대체하여 기울기 분산 감소를 향상시킨다. 이 방법은 이미지 캡션 벤치마크에서 다양한 아키텍처에서 일관된 성능 향상을 이룩하며, 표준 SCST에 비해 추가적인 계산 비용 없이도 트랜스포머 모델에서 CIDEr 점수 2.0점 향상(126.6 → 128.6)을 달성한다.

ABSTRACT

In this work, we present a simple yet better variant of Self-Critical Sequence Training. We make a simple change in the choice of baseline function in REINFORCE algorithm. The new baseline can bring better performance with no extra cost, compared to the greedy decoding baseline.

연구 동기 및 목표

• 시퀀스 생성 작업을 위한 Self-Critical Sequence Training (SCST)에서 기울기 분산 감소를 향상시키는 것.
• SCST의 탐욕적 디코딩 기반값을 다수의 샘플된 캡션에서 유도된 더 안정적이고 분산이 낮은 기반값으로 대체하는 것.
• 이 기반값 변경이 추가 학습 비용 없이도 일관된 성능 향상을 이끌어내는지 입증하는 것.
• 다양한 모델 아키텍처와 하이퍼파라미터 설정에서 이 방법의 효과성을 검증하는 것.

제안 방법

• 각 샘플된 캡션에 대해 SCST 기반값(탐욕적 캡션 보상)을 K-1개의 다른 샘플된 캡션의 평균 보상으로 대체한다.
• 수식 $ b_k = \frac{1}{K-1}\sum_{j \neq k} R(\hat{c}_j) $ 를 제k번째 샘플된 캡션 $ \hat{c}_k $ 의 기반값으로 사용한다.
• 이 기반값을 사용해 REINFORCE 알고리즘을 적용하여 정책 기울기를 계산한다: $ \nabla_\theta \approx (R(\hat{c}_k) - b_k) \nabla_\theta \log p_\theta(\hat{c}_k|I) $.
• 기반값이 샘플된 캡션 $ \hat{c}_k $ 와 독립적이도록 보장하여, REINFORCE의 기울기 분산 감소 조건을 만족시킨다.
• 학습 시 각 이미지당 K=5개의 캡션을 사용하여, 공정한 비교를 위해 표준 SCST와 동일한 설정을 유지한다.
• 기존 학습 파이프라인에 쉽게 통합할 수 있도록, SCST의 즉각적인 대체 구현을 수행한다.

실험 결과

연구 질문

• RQ1 SCST에서 탐욕적 디코딩 기반값 대비 샘플 평균 기반값이 더 효과적으로 기울기 분산을 감소시킬 수 있는가?
• RQ2 제안된 기반값이 다양한 모델 아키텍처에서 이미지 캡션 벤치마크 성능 향상에 기여하는가?
• RQ3 배치 크기 및 학습 기간과 같은 다양한 학습 하이퍼파라미터 설정에서도 성능 향상이 견고한가?
• RQ4 다른 무작위 시드나 초기화 조건에서 SCST와 비교해 본 결과, 성능 향상이 유지되는가?
• RQ5 성능 향상은 기울기 분산 감소 덕분인가? 이를 실증적으로 검증할 수 있는가?

주요 결과

• 트랜스포머 아키텍처를 사용해 COCO Karpathy 테스트 세트에서 제안된 방법은 CIDEr 점수 129.6을 기록했으며, 표준 SCST의 126.6점보다 2.0점 향상되었다.
• UpDown 아키텍처에서는 CIDEr 점수를 122.7에서 123.9로 향상시켜 1.2점 향상되었으며, BLEU, ROUGE-L, METEOR, SPICE 등 모든 메트릭에서 일관된 향상이 관찰되었다.
• 다섯 개의 다른 무작위 시드에서 제안된 방법은 항상 SCST를 초월했으며, CIDEr 평균 점수는 각각 127.9점과 127.3점이었다.
• 학습 곡선 분석 결과, 제안된 방법은 SCST보다 더 빨리 수렴하고 초기에 더 높은 검증 성능를 달성했다.
• 기울기 분산 분석 결과, 제안된 방법이 Figure 2에 나타나 있듯이 SCST보다 더 효과적으로 기울기 분산을 감소시켰다.
• 더 긴 학습 기간이나 더 큰 배치 크기를 사용해도 제안된 방법과 SCST 사이의 성능 격차는 여전히 유지되었으며, 이는 성능 향상이 하이퍼파라미터 조정의 결과가 아니라는 것을 시사한다.