[논문 리뷰] Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics

Haoqin Tu, Bingchen Zhao외 2명|arXiv (Cornell University)|2023. 09. 13.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 시각적 지시 테이닝(시각-텍스트 지시 데이터로 대규모 언어 모델(Langauge Model, LLM)을 피지테이닝하는 것)이 순수 텍스트 작업에서 LLM의 진실성과 윤리적 일치도를 크게 향상시킨다는 것을 입증한다. 이는 수백만 개의 인간 레이블이 붙은 예시를 사용한 강화학습으로부터 인간의 지침을 받은 모델(RLHF)보다도 뛰어난 성능을 보인다. 향상 요인은 추론 시 시각 입력을 사용하지 않더라도, 시각-텍스트 쌍 내재의 더 높은 품질의 지시 데이터에서 기인한다.

ABSTRACT

Multi-modal large language models (MLLMs) are trained based on large language models (LLM), with an enhanced capability to comprehend multi-modal inputs and generate textual responses. While they excel in multi-modal tasks, the pure NLP abilities of MLLMs are often underestimated and left untested. In this study, we get out of the box and unveil an intriguing characteristic of MLLMs -- our preliminary results suggest that visual instruction tuning, a prevailing strategy for transitioning LLMs into MLLMs, unexpectedly and interestingly helps models attain both improved truthfulness and ethical alignment in the pure NLP context. For example, a visual-instruction-tuned LLaMA2 7B model surpasses the performance of the LLaMA2-chat 7B model, fine-tuned with over one million human annotations, on TruthfulQA-mc and Ethics benchmarks. Further analysis reveals that the improved alignment can be attributed to the superior instruction quality inherent to visual-text data. In releasing our code at github.com/UCSC-VLAA/Sight-Beyond-Text, we aspire to foster further exploration into the intrinsic value of visual-text synergies and, in a broader scope, multi-modal interactions in alignment research.

연구 동기 및 목표

• 다중모달 훈련, 특히 시각적 지시 테이닝이 순수 자연어 처리(NLP) 작업에서 LLM의 진실성과 윤리적 일치도를 향상시키는지 조사하기.
• MLLM가 순수 언어 작업에서 열 劣한 성능을 보인다는 가정을 도전하고, 시각-언어 이해를 넘어서 잠재적인 능력을 탐색하기.
• 기존의 막대한 인간 레이블 데이터에 의존하는 전통적 RLHF 방법보다도 시각적 지시 테이닝이 더 강한 일치도를 달성할 수 있는지 평가하기.
• 시각-텍스트 데이터 내 지시의 품질이 LLM의 개선된 일치도를 이끄는 데 어떤 역할을 하는지 분석하기.
• AI 일치도 문제 해결을 위한 다중모달 상호작용의 잠재력을 자극하고 보다 넓은 연구를 이끌기.

제안 방법

• LLaVA 및 CC3M에서 확보한 시각적 지시 테이닝 데이터를 사용해 LLaMA-7B와 OpenLLaMA-3B 모델을 피지테이닝하였다.
• 시각 인코더로 CLIP ViT-L/14를 사용하고, 시각 토큰을 언어 공간으로 매핑하기 위한 학습 가능한 선형 투영층을 적용하였다.
• 두 단계 훈련을 적용: 첫 번째 단계에서는 LLM과 시각 인코더를 고정하고 오직 시각-언어 연결자만 피지테이닝하였고, 두 번째 단계에서는 연결자와 LLM 모두를 피지테이닝하였다.
• 두 번째 단계에서 전체 훈련과 LoRA를 사용해 훈련 효율성과 성능을 비교하였다.
• 최종 LLM 가중치(시각 인코더 또는 연결자 없이)를 순수 텍스트 벤치마크에서 평가하여 언어 능력을 격리하였다.
• 다양한 시각적 지시 테이닝 데이터 유형이 일치도 성능에 미치는 영향을 평가하기 위해 분석 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 추론 시 이미지를 사용하지 않더라도, 시각적 지시 테이닝이 순수 텍스트 작업에서 LLM의 진실성과 윤리적 일치도를 향상시킬 수 있는가?
• RQ2 시각적 지시 테이닝된 LLM의 성능은 진실성 및 윤리 기준 테스트에서 RLHF로 피지테이닝된 모델과 비교해 어떻게 되는가?
• RQ3 시각-텍스트 지시 데이터의 품질이 향상된 일치도 결과를 이끄는 데 어떤 역할을 하는가?
• RQ4 특정 유형의 시각적 지시 데이터가 특정 일치도 목표(예: 진실성 대비 윤리)에 더 효과적인가?
• RQ5 순수 텍스트 설정에서 일치도가 향상되었음에도 불구하고, MLLM이 손상된 이미지에서 성능 저하를 보이는 이유는 무엇인가?

주요 결과

• 시각적 지시 테이닝을 거친 LLaMA2 7B 모델은 TruthfulQA-mc에서 46.0%를 기록하여 기본 LLaMA2 7B보다 +7.1% 향상되었고, 수백만 개의 인간 레이블이 붙은 예시로 피지테이닝된 LLaMA2-chat 7B 모델보다도 뛰어난 성능을 보였다.
• 동일한 모델은 윤리 기준 테스트에서 65.4%를 기록하여 기본 LLaMA2 7B보다 +19.6% 향상되었고, 명시적 윤리적 프롬프트 없이도 LLaMA2-chat 7B 모델을 초월하였다.
• 성능 향상 요인은 추론 시 시각 입력을 사용하지 않더라도, 시각-텍스트 쌍 내 지시 데이터의 품질이 더 높기 때문이었다.
• 이러한 향상은 LLaMA와 OpenLLaMA의 3B 및 7B 버전을 포함한 다양한 LLM 크기와 아키텍처에서 일관되게 관찰되었다.
• 분석 실험 결과, 시각적 지시 테이닝 데이터의 효용성은 측정하는 일치도 기준에 따라 달라지며, 이는 과제별 데이터 민감도를 시사한다.
• 강력한 텍스트 일치도에도 불구하고, MLLM은 이미지 요약 작업에서 CIDEr 점수 4.2 포인트 하락과 손상된 이미지에서 17% 이상의 성능 저하를 보였으며, 이는 텍스트와 시각의 견고성 간의 상충 관계를 나타낸다.