[논문 리뷰] InstructionGPT-4: A 200-Instruction Paradigm for Fine-Tuning MiniGPT-4

Wei Lai, Zihao Jiang외 2명|arXiv (Cornell University)|2023. 08. 23.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 200개의 고품질 지시-따르기 예제(원래 MiniGPT-4 데이터셋의 6%)만을 사용하여 훈련 가능한 데이터 선택기로 저품질 시각-언어 데이터를 새로운 지표를 통해 평가하고 걸러내는 방식으로 미세조정된 다중모달 대규모 언어 모델인 InstructionGPT-4를 소개한다. 이 모델은 여러 벤치마크에서 MiniGPT-4를 능가하며, MME에서 +23점 향상과 VQA 및 MMBench 과제에서 뛰어난 성능을 보이며, 지시 미세조정에서 데이터 품질이 양보다 더 중요하다는 것을 입증한다.

ABSTRACT

Multimodal large language models are typically trained in two stages: first pre-training on image-text pairs, and then fine-tuning using supervised vision-language instruction data. Recent studies have shown that large language models can achieve satisfactory results even with a limited amount of high-quality instruction-following data. In this paper, we introduce InstructionGPT-4, which is fine-tuned on a small dataset comprising only 200 examples, amounting to approximately 6\% of the instruction-following data used in the alignment dataset for MiniGPT-4. To achieve this, we first propose several metrics to access the quality of multimodal instruction data. Based on these metrics, we present an effective and trainable data selector to automatically identify and filter low-quality vision-language data. By employing this method, InstructionGPT-4 outperforms the original MiniGPT-4 on various evaluations. Overall, our findings demonstrate that less but high-quality instruction tuning data is efficient in enabling multimodal large language models to generate better output. Our code is available at https://github.com/waltonfuture/InstructionGPT-4.

연구 동기 및 목표

• 다양한 지침 데이터의 양을 크게 줄였지만 고품질일 경우, 기존의 대규모 지침 미세조정 방식에 비해 다중모달 LLM에서 더 뛰어난 성능을 낼 수 있는지 조사하기 위해.
• 고품질 시각-언어 지시 데이터 수집을 위한 명확한 지침 부족 문제를 해결하기 위해.
• 기존 데이터셋에서 저품질 다중모달 지시 예제를 식별하고 걸러내는 강력한 자동화된 데이터 선택 파이프라인을 개발하기 위해.
• 데이터 품질 지표와 클러스터링의 효과성을 평가하여 모델의 일치도 및 성능 향상에 기여하는지 검증하기 위해.
• 더 적지만 더 고품질인 데이터가 더 큰 노이즈가 있는 데이터셋보다 더 우수한 일반화 및 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 시각-언어 지시 데이터 품질을 평가하기 위해 새로운 지표를 사용한 다섯 가지 신규 지표—CLIP 점수, GPT 점수, 보상 점수, 길이 점수 및 다중모달 특징 임베딩—을 제안한다.
• 원본 3.4K개의 지시 데이터를 다양하고 대표적인 클러스터로 분할하기 위해 스펙트럴 클러스터링을 사용한다.
• 검증 세트에서 모델 성능에 기반한 진정된 품질 레이블을 도출하여, 데이터 임베딩과의 관계를 학습하는 자기주의 네트워크를 데이터 선택기로 훈련한다.
• 훈련된 데이터 선택기를 적용하여 각 클러스터에서 최상의 품질 데이터를 순위 매기고 선별하여, 최종적으로 200개 예제로 구성된 정제된 데이터셋을 구성한다.
• 공정한 비교를 위해 동일한 초모수를 사용하여 선택된 200개 예제로 MiniGPT-4를 미세조정한다.
• 클러스터링과 특징 차원 수의 영향을 검증하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 수천 개의 표준 데이터 포인트 대비 단지 200개의 고품질 지시 예제로 미세조정된 다중모달 LLM이 더 뛰어난 성능을 낼 수 있는가?
• RQ2 무작위 또는 필터링 없이 샘플링하는 것에 비해, 자동화된 데이터 선택기는 고품질 시각-언어 지시 데이터를 얼마나 효과적으로 식별할 수 있는가?
• RQ3 어떤 지표와 특징가 실제 다중모달 벤치마크에서의 모델 성능과 가장 잘 상관관계를 가지는가?
• RQ4 데이터 선택 파이프라인에 스펙트럴 클러스터링을 통합할 경우, 정제된 데이터셋의 다양성과 대표성은 향상되는가?
• RQ5 전체 규모의 지시 데이터셋으로 훈련된 모델의 성능을 뛰어넘기 위해 필요한 최소한의 효과적 데이터 크기는 얼마인가?

주요 결과

• InstructionGPT-4는 MiniGPT-4 대비 MME 벤치마크에서 +23점 향상되어 극히 적은 데이터로도 뚜렷한 성능 향상을 보였다.
• MME 벤치마크에서 14개 과제 중 8개에서 MiniGPT-4를 능가했으며, LVLM-eHub 평가 세트의 네 개 VQA 데이터셋 전부에서 뛰어난 성능을 보였다.
• MMBench에서 +1.55점 향상과 VQA 데이터셋에서 +1.76% 상대적 향상은 다양한 다중모달 과제에서의 일관된 우수성을 확인한다.
• 아블레이션 스터디 결과, 클러스터링은 모든 아키텍처에서 데이터 선택기 성능을 향상시키며, 다양성과 일반화에 핵심적인 역할을 함을 입증했다.
• VQA 성능 향상을 위해 단지 50개 데이터 포인트만으로도 충분하지만, 더 넓은 벤치마크에서 MiniGPT-4를 압도하기 위해서는 200개 예제가 필요함을 보여주며, 강력한 전이 가능성(transferability)을 시사한다.
• 다중모달 특징 차원 수를 6으로 설정할 경우 최적의 성능를 달성하며, 이하일 경우 특징를 너무 압축하고, 이하일 경우 과적합 위험이 증가함을 확인했다.