[논문 리뷰] StAR: Segment Anything Reasoner

Seokju Yun, Dongheon Lee외 4명|arXiv (Cornell University)|2026. 03. 15.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

StAR는 암시적 질의에서 분할을 개선하기 위해 시각적 추론을 강화 학습에 적용하고, ReasonSeg-X/R 벤치마크를 도입하며, 테스트 시 확장을 통해 성능을 높일 수 있게 한다.

ABSTRACT

As AI systems are being integrated more rapidly into diverse and complex real-world environments, the ability to perform holistic reasoning over an implicit query and an image to localize a target is becoming increasingly important. However, recent reasoning segmentation methods fail to sufficiently elicit the visual reasoning capabilities of the base mode. In this work, we present Segment Anything Reasoner (StAR), a comprehensive framework that refines the design space from multiple perspectives-including parameter-tuning scheme, reward functions, learning strategies and answer format-and achieves substantial improvements over recent baselines. In addition, for the first time, we successfully introduce parallel test-time scaling to the segmentation task, pushing the performance boundary even further. To extend the scope and depth of reasoning covered by existing benchmark, we also construct the ReasonSeg-X, which compactly defines reasoning types and includes samples that require deeper reasoning. Leveraging this dataset, we train StAR with a rollout-expanded selective-tuning approach to activate the base model's latent reasoning capabilities, and establish a rigorous benchmark for systematic, fine-grained evaluation of advanced methods. With only 5k training samples, StAR achieves significant gains over its base counterparts across extensive benchmarks, demonstrating that our method effectively brings dormant reasoning competence to the surface.

연구 동기 및 목표

• 추론 분할을 위한 검증 가능한 보상(RLVR)으로 강화 학습의 병목 현상을 해결한다.
• 기반 MLLM 기능을 보존하면서 분할 작업을 위한 시각적 추론을 향상시킨다.
• 다양한 추론 유형과 깊이를 평가하기 위해 ReasonSeg-X/R 벤치마크를 도입한다.
• 제한된 데이터로 추론 성능을 극대화하기 위한 학습 및 테스트 전략(REST, 마스크 수준 투표, LP)을 개발한다.

제안 방법

• MLLM이 체인-오브-생각을 생성하고 바운딩 박스와 포인트를 예측한 다음 SAM이 마스크를 생성하도록 하는 분리된 추론-분할 파이프라인을 채택한다.
• GRPO를 핵심 RLVR 알고리즘으로 사용하고 미니배치 롤아웃과 그룹별 어드밴티지 정규화를 수행한다.
• SAM-수준 마스크-IoU 보상과 MLLM-수준 정확도 보상을 포함하는 다면적 보상 설계와 할당을 위한 배치 헝가리 매칭을 구현한다.
• 기존 모델 지식을 보존하면서 추론을 강화하기 위해 파라미터 효율적 튜닝(LoRA)과 조정된 학습률을 사용한다.
• Stage-2 학습 중 탐색을 증가시키기 위해 극단적 어드밴티지 선택으로 업데이트를 확장하는 롤아웃 확장 선택적 튜닝(REST)을 도입한다.
• 레벨 LP를 추가하여 기하학뿐 아니라 의미론적 레이블이 필요하도록 한다.
• 마스크 수준 다수결 투표(MV) 전략을 개발하여 IoU 클러스터링 및 클러스터 투표를 기반으로 여러 병렬 샘플에서 최종 마스크를 클러스터링하고 선택한다.
• ReasonSeg-X를 네 종류의 깊이 확장 추론 벤치마크로 구성하고 ReasonSeg-R을 ReasonSeg의 정교한 버전으로 만들어 마스크-쿼리 대응 및 경계 정확성을 보장한다.

실험 결과

연구 질문

• RQ1 RLVR 병목 현상을 어떻게 식별하고 완화하여 기본 모델의 잠재적 시각 추론 능력을 완전히 이끌어낼 수 있는가?
• RQ2 파라미터 튜닝, 보상 설계, 학습 전략, 답변 형식의 어떤 조합이 암시적 질의에서 최상의 분할 성능을 산출하는가?
• RQ3 병렬 샘플링을 통한 테스트 시 확장이 복잡한 추론 작업에서 분할 정확도를 향상시키는가?
• RQ4 ReasonSeg-X/R이 분할 방법의 추론 깊이와 유형에 대한 포괄적 평가를 제공하는가?
• RQ5 간단한 시맨틱 라벨링(LP)이 분할 결과의 grounding과 신뢰성에 미치는 영향은 무엇인가?

주요 결과

• Stage-2 학습 이후 ReasonSeg-X/R에서 기본 VisionReasoner 및 많은 벤치마크를 능가한다.
• Stage-1 StAR는Reasoning 데이터 없이 기본 모델의 추론 능력을 활용하여 같은 기본 모델을 사용하는 방법보다 우수하다.
• REST(Rollout-Expanded Selective-Tuning)는 Stage-2 학습의 효율성을 높이고 복잡한 추론 작업에서 성능을 향상시킨다.
• 마스크 수준의 다수결 투표는 병렬 응답 전체를 집계하여 최종 분할 성능을 크게 향상시킨다.
• 더 큰 기본 모델과 테스트 시간 투표 접근 방식을 사용한 StAR은 ReasonSeg-X에서 SAM 3 Agent with 72B와 같은 훨씬 큰 모델의 성능에 근접하거나 따라잡는다.
• MMR에서 StAR는 제로샷 성능이 강하고 VisionReasoner 및 MMR에서 학습된 모델보다 여러 지표에서 우수하다.