[논문 리뷰] Unifying Image Processing as Visual Prompting Question Answering

Yihao Liu, Xiangyu Chen외 5명|arXiv (Cornell University)|2023. 10. 16.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 이미지 복원, 향상, 에지 검출과 같은 다양한 저수준 영상 처리 작업들을 구조화된 프롬프트 기반 질의응답 문제로 간주하는 통합된 시각적 프롬프팅 질의응답 프레임워크인 PromptGIP를 제안한다. 시각적 프롬프팅을 활용한 컨텍스트 내 학습을 통해, 작업별 맞춤형 미세조정 없이도 교차 도메인 작업 간 제로샷 일반화를 달성하며, 예측되지 않은 작업에서 뛰어난 성능과 강건성을 보여준다.

ABSTRACT

Image processing is a fundamental task in computer vision, which aims at enhancing image quality and extracting essential features for subsequent vision applications. Traditionally, task-specific models are developed for individual tasks and designing such models requires distinct expertise. Building upon the success of large language models (LLMs) in natural language processing (NLP), there is a similar trend in computer vision, which focuses on developing large-scale models through pretraining and in-context learning. This paradigm shift reduces the reliance on task-specific models, yielding a powerful unified model to deal with various tasks. However, these advances have predominantly concentrated on high-level vision tasks, with less attention paid to low-level vision tasks. To address this issue, we propose a universal model for general image processing that covers image restoration, image enhancement, image feature extraction tasks, etc. Our proposed framework, named PromptGIP, unifies these diverse image processing tasks within a universal framework. Inspired by NLP question answering (QA) techniques, we employ a visual prompting question answering paradigm. Specifically, we treat the input-output image pair as a structured question-answer sentence, thereby reprogramming the image processing task as a prompting QA problem. PromptGIP can undertake diverse cross-domain tasks using provided visual prompts, eliminating the need for task-specific finetuning. Our methodology offers a universal and adaptive solution to general image processing. While PromptGIP has demonstrated a certain degree of out-of-domain task generalization capability, further research is expected to fully explore its more powerful emergent generalization.

연구 동기 및 목표

• 일반적으로 전문가가 맞춤형으로 설계한 작업별 모델이 필요한 저수준 시각 작업을 위한 통합적이고 일반적인 목적의 모델 부족 문제를 해결한다.
• 기존 대규모 시각 모델이 주로 고수준 작업에 집중하여 저수준 시각 작업이 다소 간과된다는 한계를 극복한다.
• 단일 아키텍처로 서로 다른 출력 도메인을 가진 다양한 영상 처리 작업을 처리할 수 있는 유니버설 프레임워크를 개발한다.
• 시각적 프롬프팅을 활용한 컨텍스트 내 학습을 통해, 작업별 맞춤형 미세조정에 의존하지 않고도 도메인 외 작업에 대한 제로샷 일반화를 가능하게 한다.
• 시각적 프롬프팅이 훈련 데이터 패턴이나 콘텐츠 기반 편향에 과도하게 기울지 않도록 하면서 모델 행동을 효과적으로 이끌 수 있음을 입증한다.

제안 방법

• 입력-출력 영상 쌍을 구조화된 질문-답변 쌍으로 간주하여 영상 처리 작업을 시각적 프롬프팅 질의응답 문제로 재정의한다.
• 예를 들어 청소화상(클리너 이미지)을 '질문'으로, 손상된 이미지를 '답변'으로 삼는 쌍으로 구성된 시각적 프롬프팅을 사용하여 작업을 정의함으로써 컨텍스트 내 학습을 가능하게 한다.
• 작업별 헤드나 적응 없이 통합된 목표로 다양한 영상 처리 작업 세트에 대해 유니버설 비전 모델을 훈련한다.
• 모델의 미세조정에 의존하기보다는, 시각적 프롬프팅에 기반한 컨텍스트 내 학습을 통해 올바른 처리 작업을 추론한다.
• 모호성을 최소화하고 작업 이해 및 모델 일반화 능력을 향상시키기 위해 풍부한 무늬와 색상 정보를 갖춘 프롬프팅을 설계한다.
• 적절한 시각적 프롬프팅을 제공함으로써 예측되지 않은 작업(예: 스타일 전이)에 모델을 적용함으로써, 잠재적인 일반화 능력의 기원을 입증한다.

실험 결과

연구 질문

• RQ1 작업별 맞춤형 미세조정 없이도, 복원, 향상, 에지 검출과 같은 다양한 저수준 영상 처리 작업을 하나의 통합 비전 모델이 처리할 수 있는가?
• RQ2 질의응답 프레임워크 내에서의 시각적 프롬프팅이 교차 도메인 영상 처리 작업 간 제로샷 일반화를 어느 정도 가능하게 하는가?
• RQ3 프롬프팅 품질(예: 무늬, 색상 빈도)이 모델이 의도한 영상 처리 작업을 정확히 이해하고 실행하는 데 영향을 미치는가?
• RQ4 의도하지 않은 콘텐츠 기반 신호(예: 실내 풍경을 깊이 추정과 연관지움)에 과도하게 기울지 않고, 모호한 프롬프팅이 주어졌을 때 모델이 일반화된 행동을 보일 수 있는가?
• RQ5 시각적 프롬프팅 질의응답 프레임워크가 훈련 중에 볼 수 없었던 도메인 외 작업에 대해 잠재적인 일반화 능력을 유도하는가?

주요 결과

• PromptGIP는 복원 및 향상 작업에서 전문 모델인 Restormer 및 ViT-large와 비교해도 경쟁적인 시각적 품질을 달성하거나 이를 초월한다.
• 적절한 시각적 프롬프팅이 제공되면, 스타일 전이와 같은 도메인 외 작업으로도 효과적으로 일반화되며, 제로샷 능력의 잠재적 존재를 시사한다.
• 노이즈가 있는 이미지에 디노이징 프롬프팅이 주어졌을 때 PromptGIP는 처리를 회피함으로써 작업 의도를 이해하고 있는 것을 보여주며, 콘텐츠 기억화를 넘어서는 이해 수준을 입증한다.
• 시각적 프롬프팅으로 Canny 에지 검출을 요청받았을 때, 노이즈가 있는 이미지에 대해 Canny 연산자를 정확히 적용함으로써, 작업별 특화된 연산 수행 능력을 확인한다.
• 프롬프팅 품질은 성능에 상당한 영향을 미치며, 무늬와 색상이 풍부한 프롬프팅이 뛰어난 결과를 낳는다. 이는 시각적 프롬프팅 파라다임에서 프롬프팅 엔지니어링의 중요성을 강조한다.
• 프롬프팅이 명확하게 작업을 정의할 경우, 예를 들어 노이즈가 많은 실내 이미지에 대해 깊이 추정을 수행하는 것과 같은 오분류를 피함으로써, 콘텐츠 기반 혼동에 대한 강건성을 보여준다.