[논문 리뷰] LLaFS: When Large Language Models Meet Few-Shot Segmentation

Lanyun Zhu, Tianrun Chen외 3명|arXiv (Cornell University)|2023. 11. 28.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

LLaFS는 사전 지시문과 영역-속성 표를 활용하여 다각형 출력을 통해 종단 간 소수 샘플 이미지 분할을 수행하기 위해 대규모 언어 모델(Large Language Models, LLMs)을 활용하는 최초의 프레임워크이다. 이를 통해 가짜 샘플 기반 커리큘럼 미리 훈련 전략을 통해 다양한 벤치마크에서 기존 방법들을 크게 앞서는 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

This paper proposes LLaFS, the first attempt to leverage large language models (LLMs) in few-shot segmentation. In contrast to the conventional few-shot segmentation methods that only rely on the limited and biased information from the annotated support images, LLaFS leverages the vast prior knowledge gained by LLM as an effective supplement and directly uses the LLM to segment images in a few-shot manner. To enable the text-based LLM to handle image-related tasks, we carefully design an input instruction that allows the LLM to produce segmentation results represented as polygons, and propose a region-attribute table to simulate the human visual mechanism and provide multi-modal guidance. We also synthesize pseudo samples and use curriculum learning for pretraining to augment data and achieve better optimization. LLaFS achieves state-of-the-art results on multiple datasets, showing the potential of using LLMs for few-shot computer vision tasks.

연구 동기 및 목표

• 제한적이고 편향된 지원 이미지에만 의존하는 전통적인 소수 샘플 분할 방법의 한계를 해결하기 위해.
• 분할 성능 향상을 위해 풍부하고 일반화 가능한 사전 지식을 제공할 수 있는 대규모 언어 모델(LLMs)의 잠재력을 탐색하기 위해.
• 보조 역할을 넘어서 텍스트 기반 LLM이 소수 샘플 설정에서 직접 분할 마스크를 생성할 수 있도록 하기 위해.
• 시각적 정보와 텍스트 정보를 효과적으로 통합하여 향상된 가이던스를 제공하는 다중모odal 지시 메커니즘을 설계하기 위해.
• 합성 가짜 샘플 생성과 커리큘럼 학습을 통해 소수 샘플 학습에서의 데이터 부족 문제를 해결하기 위해.

제안 방법

• LLM이 다각형으로 분할 출력을 생성할 수 있도록 소수 샘플 분할 작업을 명시적으로 정의하는 작업 맞춤형 지시 프롬프트를 설계한다.
• 사람의 시각적 인지 방식을 시뮬레이션하기 위해 객체 영역과 묘사적 속성을 연결하는 영역-속성 상응 표를 도입하여 세분화된 다중모달 가이던스를 제공한다.
• 미리 훈련 데이터 분포를 보강하기 위해 합성된 지원-질의 이미지 쌍을 생성하는 가짜 샘플 합성 방법을 적용한다.
• 미리 훈련 과정에서 커리큘럼 학습 전략을 적용하여 합성 샘플의 복잡성을 점진적으로 증가시켜 모델 수렴과 최적화를 향상시킨다.
• 합성 데이터와 지시 기반 감독을 사용하여 LLM을 종단 간으로 미세조정하여 직접적으로 분할 마스크를 생성한다.
• 예측 후 처리 단계에서 가장자리 정확도를 향상시키며, 특히 복잡하거나 다중 객체 시나리오에서 성능을 개선한다.

실험 결과

연구 질문

• RQ1 지원 이미지 특징에만 의존하지 않고도 대규모 언어 모델(LLMs)을 효과적으로 활용하여 소수 샘플 이미지 분할을 수행할 수 있는가?
• RQ2 텍스트 기반 LLM이 다각형 마스크와 같은 시각적 분할 출력을 이해하고 생성하도록 어떻게 적응시킬 수 있는가?
• RQ3 시각적 영역과 텍스트적 속성을 통합한 다중모달 인라인 지시의 역할은 분할 정확도 향상에 어떤 기여를 하는가?
• RQ4 합성 가짜 샘플과 커리큘럼 학습이 소수 샘플 비전 작업에서의 데이터 부족 문제를 어느 정도 완화할 수 있는가?
• RQ5 종단 간 LLM 기반 분할이 기존의 특징 기반 소수 샘플 분할 방법보다 우수한 성능을 내는가?

주요 결과

• LLaFS는 다양한 소수 샘플 분할 벤치마크에서 최신 기술 성능(SOTA)을 달성하였으며, 보고된 mIoU는 74.2이다.
• 가짜 샘플 기반 커리큘럼 미리 훈련 메커니즘을 제거할 경우 mIoU가 10.7% 감소하여 이 기법이 성능 향상에 핵심적인 역할을 한다는 점을 입증한다.
• 제거 실험 결과, 세분화된 인라인 지시(속성-영역 표 및 반복적 정밀 조정 포함)가 최대 4.5%의 mIoU 향상에 기여하는 것으로 나타났다.
• 다각형 꼭짓점 수(M)가 16을 초과할 경우 성능이 약간 저하되며, 이는 M=16이 정확도와 모델 복잡도 사이의 균형을 맞추는 데 최적임을 시사한다.
• 손실 곡선 분석 결과, 커리큘럼 미리 훈련이 미리 훈련 및 미세조정 단계 모두에서 더 빠르고 안정적인 수렴을 가능하게 한다.
• 시각화 결과, LLaFS는 다중 객체가 포함된 이미지에서도 정확한 분할 마스크를 생성함을 확인하였으며, 정밀 조정 과정을 거쳐 가장자리 정렬도 더욱 향상됨을 확인하였다.