[논문 리뷰] Visually Grounded Continual Learning of Compositional Phrases

Xisen Jin, Junyi Du외 3명|arXiv (Cornell University)|2020. 05. 02.

Multimodal Machine Learning Applications참고 문헌 53인용 수 4

한 줄 요약

이 논문은 시각적으로 기반된 지속적 학습 벤치마크인 VisCOLL을 제안한다. 이는 스트리밍 시각어휘 데이터에서 조합적 어휘 표현을 습득하기 위한 것으로, 모델은 객체 분포가 변화하는 환경에서 캡션의 마스킹된 토큰을 예측하는 것을 학습한다. 최신 지속적 학습 방법을 사용함에도 불구하고 모델의 성능 향상은 미미하고, 새로운 어휘 조합에 대한 일반화 능력은 열악하여, 지속적 학습 환경에서 조합적 일반화의 큰 검색 공간 문제를 드러낸다.

ABSTRACT

Humans acquire language continually with much more limited access to data samples at a time, as compared to contemporary NLP systems. To study this human-like language acquisition ability, we present VisCOLL, a visually grounded language learning task, which simulates the continual acquisition of compositional phrases from streaming visual scenes. In the task, models are trained on a paired image-caption stream which has shifting object distribution; while being constantly evaluated by a visually-grounded masked language prediction task on held-out test sets. VisCOLL compounds the challenges of continual learning (i.e., learning from continuously shifting data distribution) and compositional generalization (i.e., generalizing to novel compositions). To facilitate research on VisCOLL, we construct two datasets, COCO-shift and Flickr-shift, and benchmark them using different continual learning methods. Results reveal that SoTA continual learning approaches provide little to no improvements on VisCOLL, since storing examples of all possible compositions is infeasible. We conduct further ablations and analysis to guide future work.

연구 동기 및 목표

• 객체 분포가 변화하는 스트리밍 시각어휘 데이터를 통해 인간과 유사한 지속적 언어 습득을 시뮬레이션하기 위해 모델을 훈련시키는 것.
• 기반된 언어 이해에서 지속적 학습과 조합적 일반화의 이중적 과제를 연구하는 것.
• 실제적인 지속적인 변화가 일어나는 데이터셋(COCO-shift 및 Flickr-shift)을 구축하여 이러한 과제를 벤치마크화하는 것.
• 메모리 제약 조건 하에서 기존 지속적 학습 알고리즘의 새로운 어휘 조합 학습 효과를 평가하는 것.
• 실패 모드 분석을 통해 현재 접근 방식의 핵심 한계를 규명하고 향후 연구를 이끌어내는 것.

제안 방법

• 모델은 점진적으로 변화하는 객체 분포를 가진 스트림 형태의 이미지-캡션 데이터 쌍을 온라인으로 훈련한다.
• 모델 평가 방법은 기존 테스트 세트에서 마스킹된 토큰 예측을 통해 이루어지며, 이는 기존 어휘 조합과 새로운 조합 어휘를 모두 포함한다.
• COCO-shift와 Flickr-shift라는 두 가지 데이터셋은 시간이 지남에 따라 객체 빈도와 조합에 대한 통제된 분포 이동을 도입하여 구축된다.
• 벤치마크는 메모리 기반, 정규화 기반, 재생 기반의 지속적 학습 알고리즘을 사용한 다중모달 트랜스포머를 랜덤 초기화로부터 훈련시켜 사용한다.
• 균형 잡힌 제곱근(Balanced-sqrt)과 균형 잡힌 무시 전략(Balanced-forget)과 같은 메모리 관리 전략을 도입하여 다양하거나 무시 위험이 높은 예시의 저장을 최적화한다.
• 기존 조합에 대한 퍼즐리티 및 새로운 조합에 대한 정확도를 측정하여 망각과 조합 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 최신 지속적 학습 알고리즘이 시각적으로 기반된 스트리밍 언어 학습 환경에서 치명적 망각을 효과적으로 방지할 수 있는가?
• RQ2 지속적으로 변화하는 데이터 스트림에서 훈련된 모델이 새로운 조합 어휘(예: 알려지지 않은 명사-형용사 또는 명사-동사 조합)에 얼마나 잘 일반화할 수 있는가?
• RQ3 다양한 메모리 관리 전략이 대규모 조합 어휘 학습 과제에서 성능과 망각에 어떤 영향을 미치는가?
• RQ4 기존 지속적 학습 방법은 메모리 용량이 증가함에도 불구하고 VisCOLL에서 성능 향상을 이룰 수 없는 이유는 무엇인가?
• RQ5 전체 데이터 분포를 오프라인으로 한 번에 훈련하는 것이 온라인 지속적 학습보다 조합 일반화에서 성능이 뛰어나지 않는가?

주요 결과

• 최신 지속적 학습 방법은 메모리 용량이 증가함에도 불구하고 VisCOLL에서 성능 향상이 거의 없으며, 가능한 모든 어휘 조합을 저장하는 것이 불가능하기 때문이다.
• 모든 모델에서 새로운 어휘 조합에 대한 성능 저하가 심각하게 발생하여, 조합 일반화가 여전히 주요 과제로 남아 있음을 시사한다.
• 놀랍게도, 오프라인 훈련(일회성 스캔)이 온라인 지속적 학습보다 새로운 어휘 조합에서 더 높은 성능을 보이며, 온라인 환경에서 기존 사례에 과적합되는 경향이 있음을 시사한다.
• 다양성을 우선시하는 메모리 전략(Balanced-sqrt)은 초기 성능 향상을 이끌지만 장기적으로는 효과가 없으며, 망각 위험을 우선시하는 전략(Balanced-forget)은 어떤 유익도 보이지 않는다.
• 마스킹된 토큰 예측 성능 저하 정도는 사용된 기본 단어에 따라 크게 달라지며, 'black'과 같은 고빈도어는 'big'과 같은 희귀어보다 망각이 적게 발생한다.
• 결과적으로 현재의 지속적 학습 접근 방식은 가능한 어휘 조합의 지수적 증가로 인해 시각적으로 기반된 언어 학습에서 조합 일반화에 부적합함을 시사한다.