[논문 리뷰] Efficient Graph-Friendly COCO Metric Computation for Train-Time Model Evaluation

Luke Wood, François Chollet|arXiv (Cornell University)|2022. 07. 21.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 딥러닝 계산 그래프 내부에서 직접 COCO 평균 평균 정밀도(mAP)와 재현율을 계산할 수 있는 그래프 우군성 있고 미분 가능한 알고리즘을 제안한다. 이는 실시간 훈련 중 평가를 가능하게 하며, pycocotools와 거의 동일한 결과를 내는 데 성공했다 (mAP에 대한 평균 오차 <0.016). 이 방법은 분산 훈련과 미니배치 처리를 지원하여 모델 반복 속도를 크게 향상시키고, 훈련 곡선을 통한 시각화를 가능하게 한다.

ABSTRACT

Evaluating the COCO mean average precision (MaP) and COCO recall metrics as part of the static computation graph of modern deep learning frameworks poses a unique set of challenges. These challenges include the need for maintaining a dynamic-sized state to compute mean average precision, reliance on global dataset-level statistics to compute the metrics, and managing differing numbers of bounding boxes between images in a batch. As a consequence, it is common practice for researchers and practitioners to evaluate COCO metrics as a post training evaluation step. With a graph-friendly algorithm to compute COCO Mean Average Precision and recall, these metrics could be evaluated at training time, improving visibility into the evolution of the metrics through training curve plots, and decreasing iteration time when prototyping new model versions. Our contributions include an accurate approximation algorithm for Mean Average Precision, an open source implementation of both COCO mean average precision and COCO recall, extensive numerical benchmarks to verify the accuracy of our implementations, and an open-source training loop that include train-time evaluation of mean average precision and recall.

연구 동기 및 목표

• TensorFlow 및 JAX와 같은 프레임워크의 정적 계산 그래프 내부에서 COCO mAP 및 재현율 메트릭을 실시간으로 훈련 중 평가할 수 있도록 하는 것.
• pycocotools를 사용한 후행 평가의 한계를 해결하여 모델 비교를 어렵게 하고 프로토타이핑 속도를 저하시키는 문제를 해결하는 것.
• 분산 훈련을 지원하고 정확한 메트릭 추적을 훈련 전반에 걸쳐 가능하게 하는, 미분 가능하고 미니배치 호환성 있는 구현을 개발하는 것.
• 기본 pycocotools 구현과 매우 유사한 수치적 안정성을 가진 mAP의 근사치를 제공하는 것.
• 현대 훈련 파이프라인에 원활하게 통합할 수 있도록 KerasCV 네이티브로 오픈소스 구현을 제공하는 것.

제안 방법

• 동적 상태와 글로벌 통계를 피하는 정적 계산 그래프 내에서 계산 가능한, 다양한 가능성이 있는 그래프 호환 알고리즘을 제안하여 COCO mAP 및 재현율을 계산한다.
• 정렬된 신뢰도 점수와 IoU 기반 매칭을 사용한, 이미지별 및 전역 집계를 포함한 미분 가능한 mAP 근사치를 구현한다.
• IoU 임계값 설정과 클래스별 매칭을 적용하여 여러 IoU 임계값(예: 0.5–0.95)에서 참 긍정 및 거짓 긍정을 식별한다.
• 실용성과 경계상자 검출 워크플로우와의 일관성을 위해, 세그멘테이션 맵 영역이 아닌 경계상자 자체의 치수를 사용해 경계상자를 필터링한다.
• 분산 평가를 위해 다양한 가능성을 가진 연산과 텐서 기반 상태 관리 방식을 사용해 장치 간 메트릭을 집계한다.
• 실시간 메트릭 로깅이 가능한 전체 KerasCV 훈련 루프에 메트릭을 통합하여 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정적 계산 그래프 내부에서 훈련 중에 COCO mAP 및 재현율을 정확하고 효율적으로 계산할 수 있는가?
• RQ2 다양한 가능성이 있는 그래프 우군성 있는 mAP 근사치는 표준 pycocotools 구현과 얼마나 유사한가?
• RQ3 세그멘테이션 맵 영역 대신 경계상자 영역을 사용할 경우 발생하는 수치적 차이의 크기는 어떠한가?
• RQ4 mAP 및 재현율의 훈련 중 평가가 학습 곡선 시각화를 통해 모델 개발 속도 향상과 통찰력 향상에 기여하는가?
• RQ5 다양한 박스 수를 가진 미니배치를 사용한 분산 훈련 환경에서 이 구현은 어떻게 확장되는가?

주요 결과

• 제안된 mAP 근사치는 모든 표준 COCO 메트릭 설정에서 pycocotools와 평균 절대 오차 0.015 ± 0.011를 기록했다.
• 영역 필터링이 적용되지 않은 설정에서는 모든 런에서 최대 오차가 0.046 이하였고, 중앙값 오차는 0.015 이하였으며, 이는 높은 수치적 정밀도를 의미한다.
• 가장 큰 오차 증가(최대 0.202)는 영역 필터링 설정에서 발생했으며, 주로 영역 계산 방식의 차이에서 기인했다: KerasCV는 경계상자 영역을 사용하지만, pycocotools는 세그멘테이션 맵 영역을 사용한다.
• 이 구현은 분산 훈련과 미니배치 처리를 지원하여, 훈련 중에 확장 가능하고 실시간 메트릭 로깅이 가능하다.
• 이 방법은 mAP 및 재현율에 대한 전체 훈련 곡선 시각화를 가능하게 하여 반복 시간을 크게 단축시키고 모델 비교를 향상시켰다.
• 저자들은 특히 세그멘테이션 맵이 없는 사용자에게 더 실용적이고 사용자 친화적인 방법이라고 결론 내렸다.