[논문 리뷰] Vilio: State-of-the-art Visio-Linguistic Models applied to Hateful Memes

Niklas Muennighoff|arXiv (Cornell University)|2020. 12. 14.

Hate Speech and Cyberbullying Detection참고 문헌 22인용 수 40

한 줄 요약

Vilio는 최첨단 visio-linguistic 모델들을 하나의 코드베이스로 통합 구현하고, 이를 Hateful Memes 데이터셋에 적용하며, 앙상블을 통해 대회에서 2위를 달성한다.

ABSTRACT

This work presents Vilio, an implementation of state-of-the-art visio-linguistic models and their application to the Hateful Memes Dataset. The implemented models have been fitted into a uniform code-base and altered to yield better performance. The goal of Vilio is to provide a user-friendly starting point for any visio-linguistic problem. An ensemble of 5 different V+L models implemented in Vilio achieves 2nd place in the Hateful Memes Challenge out of 3,300 participants. The code is available at https://github.com/Muennighoff/vilio.

연구 동기 및 목표

• 증오 혐오 밈 및 visio-linguistic 작업을 위한 사용자 친화적이고 통합된 V+L 연구 프레임워크의 개발을 촉진한다.
• Hateful Memes 데이터셋에서 다수의 최첨단 V+L 모델을 평가하여 강력한 베이스라인과 인사이트를 확립한다.
• 특징 기반 준비, 모델별 적응, 앙상블 전략으로부터의 성능 향상을 입증한다.

제안 방법

• Hugging Face 트랜스포머와 유사하게 배열된 12개의 visio-linguistic 모델의 코드베이스를 구성한다.
• 다중 RoI 구성 및 VisualGenome 사전학습 변형을 사용하여 detectron2로 이미지 특징을 추출한다.
• 이진 크로스엔트로피 손실, Adam 옵티마이저, 작은 배치 크기 및 학습률 스케줄로 모델을 미세조정하고, 일부 모델에 대해 그래디언트 클리핑과 확률적 가중 평균을 적용한다.
• 업데이트된 트랜스포머 라이브러리 및 가능하면 Hateful Memes 사전훈련에 맞춰 ERNIE-ViL, UNITER, OSCAR, VisualBERT 및 기타 베이스라인을 수정·적응한다.
• OCR에서 도출된 밈 텍스트 특징을 통합하고, 가능하면 태스크 특화 사전학습을 사용하며, 각 모델에 맞춘 시각/언어 토큰 처리(예: 별도의 시각 토큰 유형, GeLU 활성화)를 조정한다.
• 간단한 평균, 순위 평균, 파워 평균, 그리고 Simplex 최적화를 사용하여 시드 및 모델 전반에 걸친 예측을 앙상블하여 dev/test 세트에서 AUROC를 최대화한다.

실험 결과

연구 질문

• RQ1 공통 코드베이스에 적응시킨 상태에서 최첨단 visio-linguistic 모델들이 Hateful Memes 데이터셋에서 어떻게 수행하는가?
• RQ2 사전 준비 단계(Detectron2 특징, OCR 텍스트) 및 모델별 조정이 AUROC 성능에 어떤 영향을 미치는가?
• RQ3 다양한 V+L 모델 간의 앙상블이 이 작업에서 인간 기준에 근접하거나 이를 능가하는 성능을 낼 수 있는가?
• RQ4 다중모드 혐오발언 탐지를 위한 현재 V+L 아키텍처의 한계는 무엇이며, 향후 연구에서 어떻게 해결할 수 있는가?

주요 결과

모델	AUROC (검증)	AUROC (테스트)
ERNIe-ViL Large	78.76	80.59
UNITER	77.75	78.65
OSCAR	77.16	77.30
VisualBERT	75.49	75.75
Vilio (VisualBERT variant)	75.49	75.75
Ensemble	81.56	82.52

• 5개의 V+L 모델 앙상블이 테스트 세트에서 82.52 AUROC를 달성하여 인간 성능으로의 간극을 좁힌다.
• 개별 모델은 테스트 세트에서 70대 후반에서 80대 초반의 AUROC를 달성한다(예: ERNIE-ViL Large 80.59, UNITER 78.65).
• ERNIe-ViL 기반 모델은 강한 개별 성능 중 하나인 경향이 있으며, 앙상블이 최상의 결과를 낳는다.
• 사전학습 조정, 업데이트된 트랜스포머 라이브러리, 맞춤형 태스크 특화 학습이 측정 가능한 AUROC 이득에 기여한다.
• 앙상블은 시드 및 특징 변형을 포함하면 19개의 학습된 모델로 구성되며, Simplex 최적화가 최종 예측을 개선한다.