[논문 리뷰] LISA++: An Improved Baseline for Reasoning Segmentation with Large Language Model

Senqiao Yang, Tianyuan Qu외 5명|arXiv (Cornell University)|2023. 12. 28.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

LISA++는 아키텍처 변경 없이 인스턴스 세그멘테이션 및 자연스럽고 분할된 대화 기능을 도입함으로써 LISA 모델을 향상시킨다. COCO와 ADE20K에서 수집한 데이터를 활용하여 추론 세그멘테이션과 대화의 융통성 향상을 도모한다. 다중 전환 대화 및 인스턴스 수준 이해에서 뛰어난 성능을 보이며, 마스크-임베딩 파라디그마의 확장성을 입증한다.

ABSTRACT

While LISA effectively bridges the gap between segmentation and large language models to enable reasoning segmentation, it poses certain limitations: unable to distinguish different instances of the target region, and constrained by the pre-defined textual response formats. In this work, we introduce LISA++, an update to the existing LISA model, focusing on improving core functionalities while keeping the base architecture intact. The main enhancements in LISA++ include: extbf{1) Enhanced Segmentation}: The instance segmentation ability has been added, providing a more detailed scene analysis along with the existing multi-region semantic segmentation. extbf{2) More Natural Conversation}: Improved capability for multi-turn dialogue, with the ability to incorporate segmentation results directly into text responses, i.e., Segmentation in Dialogue (SiD). These improvements are achieved by curating the existing samples of generic segmentation datasets, aimed specifically at enhancing the segmentation and conversational skills without structural change and additional data sources. Comparative analysis with the original LISA model shows significant advancements in these areas, positioning LISA++ as a notable upgrade in visual understanding and interaction. LISA++'s adaptability and improved features highlight the versatility of the mask-as-embedding paradigm proposed by LISA, and the potential as a foundational model for diverse applications.

연구 동기 및 목표

• LISA의 동일 카테고리 인스턴스 구분 및 고정된 응답 형식의 한계를 보완하기 위해.
• 세그멘테이션 출력을 통합한 더 자연스럽고 융통성 있고 맥락 인식 기반의 다중 모odal 대화를 가능하게 하기 위해.
• 마스크-임베딩 파라디그마를 인스턴스 세그멘테이션 및 대화 통합 응답을 지원하도록 확장하기 위해.
• 추론 인스턴스 세그멘테이션과 대화 세그멘테이션(SiD)을 평가하기 위한 종합적 벤치마크를 개발하기 위해.
• 아키텍처의 단순성은 유지하면서 추론 및 상호작용 능력을 크게 향상시키기 위해.

제안 방법

• COCO와 ADE20K에서 인스턴스 수준 질의 및 응답을 포함한 지시 튜닝 데이터를 재구성하기 위해.
• 세그멘테이션 결과가 자연어 응답에 통합된 다중 전환 대화를 생성하기 위해 프롬프트를 설계하기 위해.
• 다중 대상 인스턴스 세그멘테이션과 추론을 평가하기 위한 새로운 벤치마크인 ReasonSeg-Inst를 구축하기 위해.
• annotation에 직접적인 참조를 피하고 객체의 특성과 관계에 중점을 두어 질문-답변 쌍을 구성하기 위해.
• LISA와 동일한 기본 아키텍처를 사용하여 마스크-임베딩 메커니즘을 유지하면서 세분화된 추론 능력을 향상시키기 위해.
• 정확한 세그멘테이션 기반을 위해 인스턴스 ID와 레이블 이름을 명시적으로 참조하는 응답을 생성하기 위해 (예: '키보드 <34494; 키보드><31264; 키보드>')

실험 결과

연구 질문

• RQ1 마스크-임베딩 파라디그마는 아키텍처 변경 없이도 인스턴스 세그멘테이션을 지원할 수 있는가?
• RQ2 세그멘테이션 결과는 어떻게 다중 전환 대화에 자연스럽게 통합되어 대화의 유창성과 정확성을 향상시킬 수 있는가?
• RQ3 정제된 세그멘테이션 데이터에 대한 지시 튜닝은 LLM에서 추론 능력과 인스턴스 수준 이해 능력을 얼마나 향상시키는가?
• RQ4 통합된 프레임워크는 일관되고 융통성 있는 대화 출력을 통해 의미론적 세그멘테이션과 인스턴스 세그멘테이션을 동시에 지원할 수 있는가?
• RQ5 다양한 시각적 추론 작업 전반에서 LISA++는 LISA에 비해 대화의 자연스러움과 세그멘테이션 정밀도 측면에서 어떻게 비교되는가?

주요 결과

• LISA++는 기본 아키텍처를 변경하지 않고도 LISA에 인스턴스 세그멘테이션 기능을 성공적으로 통합하였다.
• 모델은 같은 카테고리의 여러 인스턴스(예: 다른 사람 또는 물체)를 대화에서 정확히 구분하고 참조할 수 있는 능력을 향상시켰다.
• 세그멘테이션 대화(SiD)는 세그멘테이션 결과를 직접 응답에 통합함으로써 더 자연스럽고 맥락 인식 기반이며 융통성 있는 대화를 가능하게 하였다.
• 업데이트된 ReasonSeg-Inst 벤치마크는 단일 대상 평가를 초월하여 다중 대상 추론 세그멘테이션을 종합적으로 평가할 수 있도록 하였다.
• 원래 LISA 모델에 비해 LISA++는 세그멘테이션 정확도와 대화의 자연스러움 양면에서 뚜렷한 향상을 이룩하였다.
• 마스크-임베딩 파라디그마는 복잡한 시각적 추론 작업에 대해 확장 가능하고 효과적인 것으로 입증되었으며, 향후 기본 다중 모달 모델 개발에 기여할 수 있다.