[논문 리뷰] Recursively Refined R-CNN: Instance Segmentation with Self-RoI Rebalancing

Leonardo Rossi, Akbar Karimi외 1명|arXiv (Cornell University)|2021. 04. 03.

Advanced Neural Network Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 단일 검출기 아키텍처인 R3-CNN을 제안하며, IoU 임계치를 기준으로 영역 제안을 재샘플링하는 순환 재샘플링 메커니즘을 사용하여 다양한 IoU 수준 간의 양성 샘플 균형을 맞추어, 다중 단계 캐스케이드 검출기 없이도 기하급수적으로 감소하는 양성 샘플 문제를 해결한다. 이 방법은 HTC와 같은 모델보다 훨씬 적은 파라미터로 COCO 2017 minival에서 최신 기술 수준의 성능을 달성하며, 다양한 백본 아키텍처에서 일관된 정확도 향상을 이끌어내고, 네트워크 가중치에 포함된 루프 메커니즘을 통해 추론 효율성을 유지한다.

ABSTRACT

Within the field of instance segmentation, most of the state-of-the-art deep learning networks rely nowadays on cascade architectures, where multiple object detectors are trained sequentially, re-sampling the ground truth at each step. This offers a solution to the problem of exponentially vanishing positive samples. However, it also translates into an increase in network complexity in terms of the number of parameters. To address this issue, we propose Recursively Refined R-CNN (R^3-CNN) which avoids duplicates by introducing a loop mechanism instead. At the same time, it achieves a quality boost using a recursive re-sampling technique, where a specific IoU quality is utilized in each recursion to eventually equally cover the positive spectrum. Our experiments highlight the specific encoding of the loop mechanism in the weights, requiring its usage at inference time. The R^3-CNN architecture is able to surpass the recently proposed HTC model, while reducing the number of parameters significantly. Experiments on COCO minival 2017 dataset show performance boost independently from the utilized baseline model. The code is available online at https://github.com/IMPLabUniPr/mmdetection/tree/r3_cnn.

연구 동기 및 목표

• 고 IoU 임계치에서 품질 높은 제안이 부족해지는 기하급수적으로 감소하는 양성 샘플 문제를 해결하기 위해.
• 다중 단계 캐스케이드 검출기 대신 단일 경량 검출기 아키텍처로 모델 복잡도를 감소시키기 위해.
• HTC와 같은 최신 기술 수준의 모델과 유사한 성능 향상을 이끌어내되, 파라미터 수를 크게 줄이기 위해.
• 다양한 기존 아키텍처에 R3-CNN을 통합하여 일반화 능력을 입증하고, 일관된 성능 향상을 보여주기 위해.

제안 방법

• 각 재귀 단계에서 정해진 IoU 임계치에서 새로운 영역 제안(RoIs)을 생성하는 순환 재샘플링 메커니즘을 도입하여 IoU 스펙트럼 전반에 걸친 양성 샘플 균형을 맞춘다.
• 네트워크 가중치에 포함된 루프 메커니즘을 활용하여 학습 및 추론 중 제안의 순환적 개선을 가능하게 한다.
• 각 객체 유형에 대해 다중 헤드를 사용하는 단일 검출기 아키텍처를 적용하며, 각 헤드는 특정 품질의 IoU 제안에 대해 학습되어 제안 품질 수준 간 균형 잡힌 학습을 보장한다.
• 각 순환 루프에서 증가하는 IoU 임계치에서 제안을 재샘플링하는 자기-역할 제안 재균형 전략을 적용하여 점차로 검출 품질을 향상시킨다.
• 각 루프가 다른 IoU 임계치에 대응하는 다중 루프 전략을 사용하여 모델을 학습하며, 최종 루프에서 최고 품질의 예측을 생성한다.
• 고정된 루프 수를 가진 엔드 투 엔드 학습 및 추론을 가능하게 하여, 루프 수는 정확도, 속도, 모델 크기 간의 트레이드오���을 제어하는 하이퍼파라미터가 된다.

실험 결과

연구 질문

• RQ1 다중 단계 캐스케이드 네트워크에 의존하지 않고도 단일 검출기 아키텍처가 기하급수적으로 감소하는 양성 샘플 문제를 효과적으로 해결할 수 있는가?
• RQ2 증가하는 IoU 임계치에서 RoI를 순환적으로 재샘플링하는 방식이 양성 샘플 균형과 전체 모델 성능에 어떤 영향을 미치는가?
• RQ3 R3-CNN이 파라미터 수를 늘리지 않고 다양한 백본 아키텍처에서 얼마나 높은 성능 향상을 이룰 수 있는가?
• RQ4 정확도, 추론 속도, 모델 복잡도를 균형 잡기 위해 최적의 순환 루프 수는 얼마인가?

주요 결과

• 3개의 루프와 유형당 하나의 헤드를 사용할 때 R3-CNN은 COCO minival 2017에서 40.9 AP를 달성하여 Mask R-CNN(38.2 AP)을 초월하고, 파라미터 수가 훨씬 적은 수준에서 HTC 수준에 근접한다.
• 3개의 루프와 유형당 하나의 헤드를 사용하는 모델(R3-CNN-L)은 COCO에서 44.8 AP, 43.6 AP mask, 56.1 APl을 기록하여 대부분의 지표에서 HTC를 초월하고, 아블레이션 스터디에서 모든 베이스라인을 능가한다.
• GC-Net, DCN, GRoIE와 같은 최신 기술 수준의 모델에 R3-CNN을 통합하면 일관되게 성능 향상이 이루어지며, R3-CNN-L+GC-Net은 44.3 AP와 43.5 AP mask를 기록하여 HTC+GC-Net보다 AP와 APm에서 높은 성능을 보였다.
• 루프 수를 늘릴수록 성능 향상의 폭이 점점 줄어들며, 3개 루프 이후로는 4개 또는 5개 루프에서 유의미한 향상이 없어지므로, 3회 이상의 재귀에서 수익 감소 현상이 나타난다.
• 아블레이션 스터디 결과, 순환 재샘플링 메커니즘이 성능 향상의 핵심 요인임을 확인하였으며, 이를 제거할 경우 성능이 Mask R-CNN 수준으로 떨어진다.
• 추론 시 루프 메커니즘이 필수적임을 입증하였으며, 모델의 가중치가 순환적 구조를 포함하고 있어 추론 성능이 학습 시 사용된 루프 수에 의존한다.