[논문 리뷰] DCT-Mask: Discrete Cosine Transform Mask Representation for Instance Segmentation

Xing Shen, Jirui Yang외 6명|arXiv (Cornell University)|2020. 11. 19.

Advanced Neural Network Applications참고 문헌 34인용 수 9

한 줄 요약

DCT-Mask는 고해상도 이진 마스크를 압축하고 복잡도가 낮은 벡터로 표현하는 새로운 이산코사인변환(DCT) 기반 마스크 표현 방식을 제안한다. 이는 인스턴스 세그멘테이션 성능을 크게 향상시키며, DCT의 에너지 집중 성질을 활용해 핵심 저주파 마스크 특징을 유지함으로써 COCO 및 LVIS에서 추론 비용을 증가시키지 않고 마스크 AP를 최대 2.1% 향상시킨다. 또한 기존 픽셀 기반 프레임워크인 Mask R-CNN 및 Cascade R-CNN에 원활하게 통합된다.

ABSTRACT

Binary grid mask representation is broadly used in instance segmentation. A representative instantiation is Mask R-CNN which predicts masks on a $28 imes 28$ binary grid. Generally, a low-resolution grid is not sufficient to capture the details, while a high-resolution grid dramatically increases the training complexity. In this paper, we propose a new mask representation by applying the discrete cosine transform(DCT) to encode the high-resolution binary grid mask into a compact vector. Our method, termed DCT-Mask, could be easily integrated into most pixel-based instance segmentation methods. Without any bells and whistles, DCT-Mask yields significant gains on different frameworks, backbones, datasets, and training schedules. It does not require any pre-processing or pre-training, and almost no harm to the running speed. Especially, for higher-quality annotations and more complex backbones, our method has a greater improvement. Moreover, we analyze the performance of our method from the perspective of the quality of mask representation. The main reason why DCT-Mask works well is that it obtains a high-quality mask representation with low complexity. Code is available at https://github.com/aliyun/DCT-Mask.git.

연구 동기 및 목표

• 인스턴스 세그멘테이션에서 저해상도 이진 그리드 마스크 표현 방식의 한계를 해결하기 위해, 세밀한 세부 사항을 포착하지 못하고 재구성 오류를 유발하는 문제를 해결한다.
• 고품질이면서 복잡도가 낮은 마스크 표현 방식을 개발하여, 높은 정밀도를 유지하면서도 학습 및 추론 오버헤드를 줄인다.
• 기존 픽셀 기반 인스턴스 세그멘테이션 프레임워크에 사전 훈련이나 아키텍처의 대대적 수정 없이 원활하게 통합할 수 있도록 한다.
• 다양한 데이터셋, 백본, 애너테이션 품질에서 일관된 성능 향상을 입증한다.
• 마스크 표현 품질 향상이 마스크 AP에 직접적인 영향을 미치며, 최소한의 계산 비용으로도 성능 향상을 이끌 수 있음을 보여준다.

제안 방법

• 해당 방법은 이산코사인변환(DCT)을 사용해 고해상도 이진 마스크(예: 128×128)를 주파수 도메인으로 변환하고, 가장 중요한 저주파 계수만 유지한다.
• 결과적으로 생성된 DCT 계수 벡터(예: 300차원)는 구조적 세부 정보를 유지하면서도 압축된 고정밀도 마스크 표현으로 기능한다.
• DCT 기반 표현은 Mask R-CNN 및 Cascade R-CNN와 같은 기존 인스턴스 세그멘테이션 모델에 최소한의 아키텍처 변경으로 통합된다.
• 사전 훈련이나 사전 처리를 피하고, DCT의 본질적인 수학적 성질을 활용해 효율적이고 실시간 압축 및 재구성 가능하다.
• 추론 중에는 역이산코사인변환(IDCT)을 사용해 DCT 계수를 고해상도 마스크로 복원함으로써 정확한 마스크 재구성 가능하다.
• 모든 마스크 헤드 아키텍처와 호환되며, 다양한 완전 연결 층 구성에서도 일관된 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 DCT 기반 마스크 표현 방식은 저해상도 이진 그리드보다 더 높은 재구성 정밀도를 달성하면서도 낮은 계산 복잡도를 유지할 수 있는가?
• RQ2 마스크 표현 품질 향상이 다양한 데이터셋과 백본 아키텍처에서 측정 가능한 마스크 AP 향상으로 이어지는가?
• RQ3 DCT-Mask는 사전 훈련이나 상당한 아키텍처 수정 없이 기존 인스턴스 세그멘테이션 프레임워크에 효과적으로 통합될 수 있는가?
• RQ4 PCA나 반복 렌더링(예: PointRend)과 같은 다른 압축 표현 방식과 비교해 정확도, FLOPs, 추론 속도 측면에서 DCT-Mask는 어떻게 성능을 내는가?
• RQ5 DCT-Mask의 성능 향상은 애너테이션 품질과 모델 복잡도에 따라 비례하는가?

주요 결과

• DCT-Mask는 128×128 마스크에서 압축된 300차원 DCT 벡터를 사용해 97% IoU를 달성했으며, 표준 28×28 이진 그리드의 93.8% IoU보다 뚜렷한 성능 향상을 보였다.
• COCO에서 DCT-Mask는 ResNet-50 기반으로 1.3% 향상, ResNeXt-101 기반으로 2.0% 향상되었으며, 백본 간 일관된 성능 향상을 보였다.
• LVIS에서 DCT-Mask는 ResNet-50 기반으로 2.1% 향상, ResNeXt-101 기반으로 3.1% 향상되었으며, 이는 복잡하거나 고품질 애너테이션에서 더 큰 이점을 제공함을 시사한다.
• Cityscapes에서 DCT-Mask는 기준 AP 30.6에서 향상된 버전으로 30.6으로 향상되었으며, 세밀한 애너테이션 데이터셋에서도 일관된 성능 향상을 보였다.
• DCT-Mask는 AP(36.5 vs. 36.3)와 추론 속도(22 FPS vs. 16 FPS) 모두에서 PointRend를 능가했으며, FLOPs는 절반 수준 뿐만 아니라 거의 속도 손실 없이 22 FPS를 유지했다.
• 이 방법은 거의 속도 손실 없이, 사전 훈련이나 사전 처리가 필요 없음을 입증했다.