[논문 리뷰] Tuning computer vision models with task rewards

André Susano Pinto, А. И. Колесников외 3명|arXiv (Cornell University)|2023. 02. 16.

Multimodal Machine Learning Applications인용 수 13

한 줄 요약

이 논문은 강화학습 보상으로 사전 학습된 컴퓨터 비전 모델을 미세 조정하면 객체 탐지, 팬오픽 세그멘테이션, 컬러라이제이션, 이미지 자막 생성에서 특정 작업 사용과의 정합성이 개선된다는 것을 보여준다.

ABSTRACT

Misalignment between model predictions and intended usage can be detrimental for the deployment of computer vision models. The issue is exacerbated when the task involves complex structured outputs, as it becomes harder to design procedures which address this misalignment. In natural language processing, this is often addressed using reinforcement learning techniques that align models with a task reward. We adopt this approach and show its surprising effectiveness across multiple computer vision tasks, such as object detection, panoptic segmentation, colorization and image captioning. We believe this approach has the potential to be widely useful for better aligning models with a diverse range of computer vision tasks.

연구 동기 및 목표

• 복잡한 비전 작업에서 모델 예측과 의도된 사용 간의 불일치를 해결한다.
• 강화학습 보상을 활용하여 작업 관련 성능을 직접 최적화한다.
• 간단한 두 단계 파이프라인(MLE 사전 학습에 이어 보상 조정을 통해) 여러 CV 작업에서 작동함을 보인다.
• 작업별 아키텍처 변경이 필요하지 않으면서 개선을 보여준다.
• 비전 모델에 인간 피드백과 같은 더 복잡한 보상을 도입할 가능성을 강조한다.

제안 방법

• 데이터 분포를 포착하기 위해 최대우도 추정(MLE)으로 모델을 사전 학습한다(MLE 모델).
• Reinforce 알고리즘(log-derivative trick)을 사용하여 작업 관련 보상을 최대화하여 MLE 모델을 미세 조정한다.
• 입력당 두 개의 출력 샘플을 통해 그래디언트 분산을 줄이기 위해 베이스라인을 사용한다( reward(sample) - reward(baseline)).
• 출력을 바운딩 박스, 색상 채널, 자막 등 시퀀스로 표현하고 비분화 가능 보상을 최적화한다.
• 작업별 보상으로 Panoptic Quality(PQ), 평균 리콜, 평균 정밀도(mAP), CIDEr 등을 적용하고 색감(colorfulness)과 같은 커스텀 보상도 사용한다.
• 두 단계의 프로세스를 유지한다: (1) MLE 사전 학습, (2) 보상 기반 조정, 사전 학습 샘플링 전략 활용.

실험 결과

연구 질문

• RQ1 보상 기반 조정이 Reinforce를 통해 다양한 비전 작업에서 모델 아키텍처를 바꾸지 않고도 작업 위험에 대한 정렬을 개선할 수 있는가?
• RQ2 보상 기반 이익은 전통적인 작업별 학습 트릭과 후처리 방법과 어떻게 비교되는가?
• RQ3 단순한 메트릭 기반 보상으로도 상자, 세그먼트, 색상, 자막과 같은 복합 출력을 개선할 수 있는가?

주요 결과

• 팬오픽 세그멘테이션: 보상 조정으로 팬오픽 퀄리티(PQ)가 COCO 검증에서 43.1에서 46.1로 향상(입력 512x512).
• 객체 탐지: 보상 기반 조정으로 mAP가 39.2에서 54.3으로, AR@100은 54.4에서 67.2로 증가; 재현율 중심 조정은 68.4에 도달.
• 컬러라이제이션: 보상 조정으로 더 생생한 색과 더 큰 색상 다양성이 나타나며 colorfulness, hue-entropy 보상이 크게 증가.
• 이미지 캡션: CIDEr 점수가 COCO 테스트 분할에서 ViT-B에서 120.0에서 134.5로, ViT-L에서 121.7에서 138.7로 상승.
• 작업 전반에 걸쳐 보상 최적화가 표준 MLE 학습보다 의도된 사용과의 정렬이 향상되는 것을 보여준다.