[논문 리뷰] Phase-Shifting Coder: Predicting Accurate Orientation in Oriented Object Detection

Yi Yu, Feipeng Da|arXiv (Cornell University)|2022. 11. 11.

Advanced Image and Video Retrieval Techniques인용 수 7

한 줄 요약

이 논문은 경계 불연속성과 정사각형 유사 문제를 해결하기 위해 주기적 단위로 방향 각도를 매핑하는 미분 가능한 각도 인코딩 방법인 단일 주파수 변형인 단위 위상 이동 코더(PSC)와 이중 주파수 변형인 PSCD를 제안한다. PSC는 DOTA에서 mAP75 기준 최고 성능을 기록하며, 하이퍼파rameter 조정 없이 다양한 데이터셋에 잘 일반화된다.

ABSTRACT

With the vigorous development of computer vision, oriented object detection has gradually been featured. In this paper, a novel differentiable angle coder named phase-shifting coder (PSC) is proposed to accurately predict the orientation of objects, along with a dual-frequency version (PSCD). By mapping the rotational periodicity of different cycles into the phase of different frequencies, we provide a unified framework for various periodic fuzzy problems caused by rotational symmetry in oriented object detection. Upon such a framework, common problems in oriented object detection such as boundary discontinuity and square-like problems are elegantly solved in a unified form. Visual analysis and experiments on three datasets prove the effectiveness and the potentiality of our approach. When facing scenarios requiring high-quality bounding boxes, the proposed methods are expected to give a competitive performance. The codes are publicly available at https://github.com/open-mmlab/mmrotate.

연구 동기 및 목표

• 각도의 주기성으로 인해 발생하는 경계 불연속성과 정사각형 유사 문제를 해결하기 위해.
• 광학적 위상 이동 기법을 영감으로 삼아 180° 및 90° 회전 대칭 문제를 통합적인 프레임워크로 통합하기 위해.
• 딥 러닝 기반 검출기에서 회귀 정확도를 향상시키기 위해 미분 가능한 엔드 투 엔드 학습이 가능한 각도 코더를 개발하기 위해.
• 일관된 학습 조건 하에서 DOTA, HRSC, OCDPCB와 같은 다양한 데이터셋에서 방법의 성능을 평가하기 위해.
• 특정 데이터셋에 맞는 하이퍼파rameter 조정 없이도 일반화 능력을 입증하기 위해.

제안 방법

• PSC는 단일 주파수를 사용하여 방향 각도를 주기적 위상으로 인코딩하며, 위상의 연속성 덕분에 ±π/2에서 발생하는 경계 불연속성을 해결한다.
• PSCD는 두 주파수(저주파수 및 고주파수)를 사용하여 위상의 모호함을 제거하고, 위상 풀기 기법을 통해 90° 회전 대칭으로 인한 정사각형 유사 문제를 해결한다.
• 위상은 φ = (θ + π) / (2π) × N로 계산되며, 여기서 N은 위상 버킷 수이며, [−π, π] 범위를 [0, N)로 매핑한다.
• 네트워크는 위상 값을 직접 예측하고, 위상 매핑의 역함수를 통해 각도를 복원함으로써, 미분 가능한 학습이 가능해진다.
• 이중 주파수 접근법은 저주파수 및 고주파수 위상을 조합하여, 90° 회전 대칭 조건에서도 진짜 각도를 유일하게 결정할 수 있도록 한다.
• 이 방법은 RetinaNet, FCOS, YOLOv5와 같은 표준 검출기와 통합되며, 계산 오버헤드가 최소한이다.

실험 결과

연구 질문

• RQ1 위상 이동 인코딩 기법이 경사진 물체 검출에서 경계 불연속성을 효과적으로 해결할 수 있는가?
• RQ2 이중 주파수 위상 이동 접근법이 90° 회전 대칭으로 인한 정사각형 유사 문제를 제거할 수 있는가?
• RQ3 제안된 PSC 방법이 특정 데이터셋에 맞는 하이퍼파rameter 조정 없이도 다양한 데이터셋에 일반화되는가?
• RQ4 CSL 및 KLD와 같은 기존 각도 인코딩 방법과 비교할 때, PSC의 mAP 및 추론 효율성은 어떻게 되는가?
• RQ5 이중 주파수 확장(PSCD)이 다양한 데이터셋 및 모델 아키텍처에서 성능에 어떤 영향을 미치는가?

주요 결과

• DOTA 데이터셋에서 PSCD는 CSL보다 mAP50 기준 1.15 pp, mAP75 기준 2.59 pp 높은 성능을 기록하여 뚜렷한 정확도 향상을 입증했다.
• PSCD는 DOTA에서 KLD보다 mAP75 기준 2.36 pp 높은 성능을 기록하여 고 IoU 검출에서 뛰어난 성능을 보였다.
• OCDPCB 데이터셋에서 PSC는 하이퍼파rameter 조정 없이도 KLD보다 mAP75 기준 9.83 pp 높은 성능을 기록하여 강력한 일반화 능력을 입증했다.
• PSC와 PSCD는 추론 시간 오버헤드가 극히 적으며, 1024×1024 이미지에서 RetinaNet(R-50)에 PSC는 오직 0.2 ms, PSCD는 0.5 ms의 추가 시간만 소요된다.
• 이중 주파수 전략은 YOLOv5s에서 mAP75 기준 3.94 pp, YOLOv5m에서 3.60 pp 향상되었지만, HRSC 및 OCDPCB에서는 성능 저하가 발생하여 맥락에 따라 이점이 달라지는 것으로 나타났다.
• PSC와 PSCD는 특정 데이터셋에 맞는 하이퍼파rameter 조정이 필요 없어, 일관된 성능을 보이며 새로운 환경에 즉시 통합 가능한 플러그 앤 플레이 방식으로 구현 가능하다.