[논문 리뷰] Detection Transformer with Stable Matching

Shilong Liu, Tianhe Ren외 9명|arXiv (Cornell University)|2023. 04. 10.

Digital Media Forensic Detection인용 수 5

한 줄 요약

이 논문은 DETR 유사 객체 검출기에서 학습 중 다수의 상충되는 최적화 경로로 인해 발생하는 불안정한 매칭 문제를 다룹니다. 양성 예측의 분류 점수를 지도하는 데 오직 위치 메트릭(예: IoU)을 사용함으로써 저자들은 위치 기반 지도 손실과 위치 조절 비용을 제안하며, ResNet-50를 사용한 1× 및 2× 스케줄에서 COCO에서 각각 50.4 및 51.5의 SOTA AP를 달성하고, Swin-Large를 사용할 경우 63.8의 AP를 기록합니다.

ABSTRACT

This paper is concerned with the matching stability problem across different decoder layers in DEtection TRansformers (DETR). We point out that the unstable matching in DETR is caused by a multi-optimization path problem, which is highlighted by the one-to-one matching design in DETR. To address this problem, we show that the most important design is to use and only use positional metrics (like IOU) to supervise classification scores of positive examples. Under the principle, we propose two simple yet effective modifications by integrating positional metrics to DETR's classification loss and matching cost, named position-supervised loss and position-modulated cost. We verify our methods on several DETR variants. Our methods show consistent improvements over baselines. By integrating our methods with DINO, we achieve 50.4 and 51.5 AP on the COCO detection benchmark using ResNet-50 backbones under 12 epochs and 24 epochs training settings, achieving a new record under the same setting. We achieve 63.8 AP on COCO detection test-dev with a Swin-Large backbone. Our code will be made available at https://github.com/IDEA-Research/Stable-DINO.

연구 동기 및 목표

• DETR 유사 모델의 디코더 레이어 간 불안정한 매칭 문제를 특정하고 해결하기 위해.
• 1:1 허그리안 매칭으로 인해 발생하는 다중 최적화 경로 문제로 인한 불안정성의 근본 원인을 분석하기 위해.
• 분류 최적화를 유도하는 데 오직 위치 메트릭(예: IoU)에 의존함으로써 일관된 최적화 목표를 보장하는 원칙적인 해결책을 제안하기 위해.
• 백본이나 아키텍처를 크게 수정하지 않고도 DETR 변종의 학습 안정성과 성능을 향상시키기 위해.
• 다양한 DETR 변종에 걸쳐 방법을 검증하고 COCO에서 새로운 SOTA 성능을 달성하기 위해.

제안 방법

• 양성 예측의 분류 점수를 지도하는 데 오직 IoU 점수만을 사용하는 위치 기반 지도 손실을 도입하여 상충되는 최적화 경로를 제거합니다.
• IoU 기반으로 매칭 비용을 재가중하는 위치 조절 비용을 설계하여 이중 매칭 과정에서 높은 오버랩 예측을 우선시합니다.
• 분류 최적화를 유도하는 데 오직 위치 메트릭이어야 한다는 원칙을 적용하여 각 정답에 대해 단일하고 안정적인 최적화 경로를 보장합니다.
• 기존의 DETR 변종(예: DINO)에 새로운 손실과 비용을 통합하며, 아키텍처 변경을 최소화합니다.
• 밀도 있는 메모리 퓨전을 적용하여 인코더와 백본 특징 간의 특징 상호작용을 강화합니다.
• 표준 학습 스케줄을 사용해 엔드 투 엔드로 모델을 훈련하고, COCO 객체 검출 벤치마크에서 평가합니다.

실험 결과

연구 질문

• RQ1 DETR 유사 모델의 디코더 레이어 간 불안정한 매칭은 무엇으로 인해 발생합니까?
• RQ2 DETR에서 1:1 매칭 전략이 왜 상충되는 최적화 경로를 유도합니까?
• RQ3 오직 위치 메트릭을 통해 지도를 제공하는 것이 학습 과정을 안정화시키고 성능 향상에 기여할 수 있습니까?
• RQ4 Focal Loss나 작업 정렬 손실과 같은 기존의 손실 설계와 비교해 본다면, 제안된 방법은 DETR 환경에서 어떻게 성능을 냅니다?
• RQ5 이 방법은 다양한 백본 아키텍처와 학습 스케줄에서 성능 향상에 얼마나 기여합니까?

주요 결과

• 제안된 위치 기반 지도 손실과 위치 조절 비용은 1× 학습(12 에포크)에서 ResNet-50를 사용한 COCO에서 50.4 AP를 달성하여 새로운 SOTA를 수립합니다.
• 2× 학습(24 에포크)에서 동일한 설정에서 ResNet-50를 사용한 COCO에서 51.5 AP를 기록하며, 이 역시 새로운 SOTA입니다.
• Swin-Large 백본을 사용할 경우 COCO test-dev에서 63.8 AP를 달성하여 강력한 일반화 능력을 입증합니다.
• 제거 실험을 통해 오직 IoU만을 사용한 분류 지도가 학습 안정성과 성능 향상에 기여하는 반면, 다른 손실 설계는 성능을 떨어뜨리는 것으로 확인되었습니다.
• 이 방법은 다양한 DETR 변종에 효과적이며, 최소한의 계산 오버헤드를 유발합니다.
• 밀도 있는 메모리 퓨전 구성 요소는 특징 표현을 더욱 향상시켜 성능 향상에 기여합니다.