[논문 리뷰] PFDet: 2nd Place Solution to Open Images Challenge 2018 Object Detection Track

Takuya Akiba, Tommi Kerola외 4명|arXiv (Cornell University)|2018. 09. 04.

Advanced Neural Network Applications참고 문헌 15인용 수 15

한 줄 요약

PFDet는 다중 노드 배치 정규화를 사용해 512개 GPU에서 훈련한 확장 가능한 객체 검출 시스템으로, 2018년 Open Images Detection Challenge에서 2위를 기록했다. 희박한 애너테이션과 희귀 클래스에서 미세조정된 전문 모델로 인해 노이즈가 많은 레이블을 완화하기 위해 공존 손실(co-occurrence loss)을 도입하여, 부분 클래스와 희귀 카테고리에서 최대 9.2 AP 향상했다.

ABSTRACT

We present a large-scale object detection system by team PFDet. Our system enables training with huge datasets using 512 GPUs, handles sparsely verified classes, and massive class imbalance. Using our method, we achieved 2nd place in the Google AI Open Images Object Detection Track 2018 on Kaggle.

연구 동기 및 목표

• 1.7백만 장의 이미지와 1,200만 개의 바운딩 박스를 포함한 Open Images Dataset V4에서 극심한 클래스 불균형이 있는 대규모 객체 검출기 훈련 문제를 해결한다.
• 2. OID에서 검증되지 않은 클래스가 레이블링되지 않아 부분 클래스에 대해 잘못된 음성 예측이 발생하는 희박한 애너테이션 문제를 해결한다.
• 3. 가장 흔한 클래스(사람)가 80만 장 이상에 등장하고 가장 희귀한 클래스(압력솥)는 단지 13장에만 등장하는 막대한 클래스 불균형을 해결하면서도 일반 클래스 성능을 떨어뜨리지 않는다.
• 4. 512개 GPU에서 안정적인 배치 정규화를 통해 훈련 시간을 단축하면서도 모델 정확도를 유지하는 고스케일 훈련을 가능하게 한다.

제안 방법

• 1. 전역적 맥락을 향상시키기 위해 FPN, 피라미드 공간 풀링(PSP), 다섯 단계로 확장된 FPN 스케일을 갖춘 SE-ResNeXt-101과 SENet-154 백본을 사용한 이단계 Faster R-CNN 프레임워크를 활용한다.
• 2. ChainerMN를 통해 다중 노드 배치 정규화를 적용하여 512개 GPU에서 배치 크기가 512인 상태에서도 훈련을 안정화시키고, 효율적인 대규모 훈련을 가능하게 한다.
• 3. 주체 클래스가 존재하고 공간적으로 가까이 있을 경우 부분 클래스에 대한 학습 신호를 억제하는 공존 손실(co-occurrence loss)을 도입하여, 희박한 레이블링으로 인한 잘못된 음성 예측을 줄인다.
• 4. OID의 의미 계층을 사용해 클래스 간 관계를 구성하여 주체-부분 클래스 쌍을 식별하고, 공존 손실을 공간적으로 겹치는 예측에만 적용한다.
• 5. 빈도순으로 250개의 가장 희귀한 클래스에 대해 전문 모델을 훈련하고, 별도로 미세조정한 후 일반 모델과 앙상블하여 희귀 클래스 검출 성능을 향상시키되 일반 클래스 성능은 해치지 않는다.
• 6. 다중 레이블 분류를 위해 시그모이드 교차 엔트로피 손실을 사용하고, 학습률 스케줄링에 코즈인 애너일링을 적용하며, 중복 검출을 줄이기 위해 추론 시 비최대 억제 가중치(Non-Maximum Weighted Suppression, NMW)를 사용한다.

실험 결과

연구 질문

• RQ1 1. MS COCO보다 183배 더 불균형한 Open Images Dataset V4에서 대규모 객체 검출기를 효과적으로 훈련하는 방법은 무엇인가?
• RQ2 2. 검증되지 않은 클래스가 레이블링되지 않아 부분 클래스에 대해 잘못된 음성 예측이 발생하는 OID의 희박한 애너테이션 문제를 어떻게 완화할 수 있는가?
• RQ3 3. 희귀 클래스에만 전용으로 훈련된 전문 모델이 일반 클래스 성능을 떨어뜨리지 않고 검출 성능을 향상시킬 수 있는가?
• RQ4 4. 공존 손실이 부분 클래스 검출에서 잘못된 음성 예측으로 인한 노이즈 있는 지도 신호를 어느 정도 감소시키는가?
• RQ5 5. 다중 노드 배치 정규화를 통해 512개 GPU에서 배치 크기가 512인 상태에서도 안정적인 훈련이 가능한가?

주요 결과

• 1. 최종 앙상블 모델은 검증 세트에서 74.07% mAP를 기록하여 공개 랭킹에서 우승자보다 1.17% 높았고, 비공개 랭킹에서는 0.03% 뿐 뒤져서 거의 동점이었다.
• 2. 공존 손실 덕분에 47개의 영향을 받는 부분 클래스 평균 AP가 9.2 포인트 향상되었으며, 일부 사례에서는 최대 34.3 포인트 향상(예: 얼굴의 경우 55.2에서 91.4로)되었다.
• 3. 빈도순 11~100위 클래스에 대해 전문 모델을 미세조정한 결과, mAP가 전체 모델의 51.9%에서 65.6%로 상승하여 희귀 클래스 검출에 있어 뚜렷한 성과 향상을 보였다.
• 4. 빈도순 100~250위 클래스에 대해 전문 모델을 미세조정한 결과, mAP는 70.5%에서 73.1%로 상승했지만, 더 흔한 클래스(251~350위)에서는 성능 저하가 발생하여 모델 범위의 상충 관계를 보였다.
• 5. 공존 손실과 전체 앙상블을 적용한 모델는 74.07% mAP를 기록하여 기준 모델(60.0%)보다 14.07% 포인트 높았으며, 아키텍처 및 훈련 구성 요소마다 점진적인 성능 향상을 보였다.
• 6. 512개 GPU에서 다중 노드 배치 정규화를 사용한 훈련은 단일 노드(8개 GPU) 대비 83%의 훈련 속도 효율성을 달성하여 높은 확장성을 입증했다.