[논문 리뷰] InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

Zigang Geng, Binxin Yang외 9명|arXiv (Cornell University)|2023. 09. 07.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

InstructDiffusion는 다양한 비전 작업—예를 들어 세분화, 관건점 검출, 이미지 편집—을 연속적인 3채널 이미지 공간에서 지시 기반 픽셀 조작으로 간주하는 통합된 확산 기반 프레임워크를 제안한다. 자연어 지시로부터 픽셀 수준의 출력을 예측하도록 단일 모델을 훈련시킴으로써, 새로운 작업에 대해 강력한 제로샷 일반화 성능을 달성하고, 새로운 데이터셋에서 이전 방법들을 능가하며, 비전 분야의 일반화 모델링 인터페이스로의 중대한 발걸음을 내디뎠다.

ABSTRACT

We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man's left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.

연구 동기 및 목표

• 이해에서 생성에 이르기까지 다양한 컴퓨터 비전 작업을 단일 지시 기반 프레임워크로 통합하는 것.
• 모든 작업을 연속적인 픽셀 수준의 이미지 편집으로 모델링하여, 작업별 특화 아키텍처와 이산 출력 표현 방식의 한계를 극복하는 것.
• 통합된 지시 일치 모델링 인터페이스를 통해 새로운 작업에 대한 제로샷 일반화를 가능하게 하는 것.
• 공유된 확산 기반 아키텍처를 사용해 다수의 비전 작업을 동시에 훈련시켜 모델 일반화를 향상시키는 것.
• 사람이 직관적으로 인터랙션할 수 있는 유연한 방식으로 비전 모델에 접근함으로써 컴퓨터 비전 분야에서 인공 일반 지능으로의 도약을 이루는 것.

제안 방법

• 모델은 3채널 RGB 이미지를 출력으로 예측하기 위해 노이즈 제거 확산 과정을 사용하며, 마스크와 관건점을 통합 표현 방식을 통해 이미지 공간에 인코딩된다.
• 작업들은 자연어 지시로 재정의되며, 예를 들어 '왼쪽 차를 파란색으로 칠해' 또는 '남자의 왼쪽 어깨 위에 빨간 원을 그려'와 같은 형태로 표현된다.
• 후처리 모듈은 3채널 출력을 평가를 위해 이진 마스크 및 관건점 좌표와 같은 표준 형식으로 디코딩한다.
• 모델는 세분화, 관건점 검출, 이미지 편집 등 다양한 비전 작업을 동시에 훈련시키며, 통합된 지시-입력-출력 파라다임을 사용한다.
• 사람의 일치 데이터는 이미지-텍스트 일치도를 측정하는 CLIP-Sim를 기반으로 하여, 지시 수행 정확도를 향상시키기 위해 피니팅 단계에서 사용된다.
• 확산 모델의 연속성 특성을 활용하여 이산 토큰화 접근 방식에서 발생하는 양자화 오류를 방지한다.

실험 결과

연구 질문

• RQ1 자연어 지시 외에 작업별 특화 헤드 설계 없이도 단일 비전 모델이 다양한 비전 작업을 처리할 수 있는가?
• RQ2 다양한 비전 작업 간의 공동 훈련이 새로운 작업과 데이터셋에 대한 일반화에 어떤 영향을 미치는가?
• RQ3 훈련 중에 볼 수 없었던 작업, 예를 들어 검출 및 분류 작업에 대해 확산 기반 모델이 얼마나 강력한 제로샷 능력을 보일 수 있는가?
• RQ4 사람의 의도에 맞는 지시 수행 능력을 향상시키기 위해 인간 일치 피니팅이 모델의 일치도에 어떤 영향을 미치는가?
• RQ5 마스크와 관건점을 3채널 이미지로 통합 표현함으로써 작업 특화 정확도를 유지하면서도 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 공동 훈련된 InstructDiffusion 모델은 네 개의 새로운 테스트 데이터셋(RefClef, ADE-847, PC-459, ADE-150)에서 단일 작업 모델을 능가하며, 더 뛰어난 오픈세트 일반화 성능을 입증했다.
• 공동 훈련은 새로운 데이터셋에서의 성능 향상에 크게 기여하며, 추론 실험 결과에서 작업별 특화 모델 대비 명확한 제로샷 일반화 성능 향상이 확인되었다.
• 지시를 참조 세분화 작업으로 해석하고 marked 영역에서 바운딩 박스와 클래스 레이블을 추출함으로써, 제로샷 검출 및 분류 작업을 성공적으로 수행했다.
• 직접적인 지시를 통해 인간 및 동물 얼굴의 얼굴 정렬을 높은 정확도로 달성했으며, 이는 미세한 작업에 대한 강력한 적응 능력을 시사한다. 예: '오른쪽 귀를 둘러싸'.
• 사람의 일치 피니팅을 통해 1,000개 샘플 데이터셋에서 약 10 에포크 동안 CLIP-Sim가 29.6에서 29.9로 향상되었으며, 이는 이미지-텍스트 일치도 향상됨을 확인한다.
• 시각적 비교 결과, 다중 작업 훈련이 참조 세분화에서의 더 나은 객체 이해로 이어져, 예를 들어 레오파드의 모자를 정확히 올리는 등의 편집 정밀도 향상을 보였다.