[논문 리뷰] TensorMask: A Foundation for Dense Object Segmentation

Xinlei Chen, Ross Girshick외 2명|arXiv (Cornell University)|2019. 03. 28.

Advanced Neural Network Applications참고 문헌 37인용 수 36

한 줄 요약

TensorMask는 구조화된 4D 텐서를 사용한 인스턴스 분할을 위한 조밀한 슬라이딩 윈도우 프레임워크를 도입하여 Mask R-CNN과 경쟁력 있는 결과를 달성하고 조밀한 마스크 예측의 새로운 기반을 제공합니다.

ABSTRACT

Sliding-window object detectors that generate bounding-box object predictions over a dense, regular grid have advanced rapidly and proven popular. In contrast, modern instance segmentation approaches are dominated by methods that first detect object bounding boxes, and then crop and segment these regions, as popularized by Mask R-CNN. In this work, we investigate the paradigm of dense sliding-window instance segmentation, which is surprisingly under-explored. Our core observation is that this task is fundamentally different than other dense prediction tasks such as semantic segmentation or bounding-box object detection, as the output at every spatial location is itself a geometric structure with its own spatial dimensions. To formalize this, we treat dense instance segmentation as a prediction task over 4D tensors and present a general framework called TensorMask that explicitly captures this geometry and enables novel operators on 4D tensors. We demonstrate that the tensor view leads to large gains over baselines that ignore this structure, and leads to results comparable to Mask R-CNN. These promising results suggest that TensorMask can serve as a foundation for novel advances in dense mask prediction and a more complete understanding of the task. Code will be made available.

연구 동기 및 목표

• 마스크를 기하학적 구조를 가진 4D 텐서로 취급하여 조밀한 슬라이딩 윈도우 인스턴스 분할의 격차를 해소한다.
• 조밀한 마스크 예측을 가능하게 하기 위해 TensorMask 표현 및 연산자를 개발하고 평가한다.
• COCO에서 조밀한 슬라이딩 윈도우 방식이 영역 기반 방법과 경쟁력 있는 성능을 달성할 수 있음을 보여준다.

제안 방법

• 마스크를 (V, U, H, W) 모양의 구조화된 4D 텐서로 표현하여 객체 위치와 마스크 기하학을 모두 캡처한다.
• 자연스러운(natural) 및 정렬된(aligned) 텐서 표현과 그것들 간의 좌표 변환을 제안한다.
• 다중 스케일 마스크를 다루기 위한 텐서 바이피라미드를 도입하여 큰 객체에 대한 고해상도 마스크와 작은 객체에 대한 대략적인 위치 정보를 결합한다.
• 특징 피라미드 네트워크에 마스크 예측 헤드와 분류 헤드를 부착하고, 레벨 간 가중치를 공유한다.
• 클래스 비특정 마스크 헤드를 사용하고 포컬 로스 기반 분류 헤드, 마스크별 픽셀 단위 이진 교차 엔트로피 손실과 IoU 유사한 박스 손실을 훈련에 사용한다.
• 다양한 텐서 표현(natural vs aligned)과 업스케일링 전략을 평가하고, 최종적으로 기준 헤드보다 성능이 우수한 텐서 바이피라미드를 제시한다.

실험 결과

연구 질문

• RQ1 마스크의 4D 텐서 표현을 사용하여 조밀한 슬라이딩 윈도우 인스턴스 분할을 효과적으로 구현할 수 있는가?
• RQ2 마스크의 기하학적 구조를 존중하는 표현(natural vs aligned)이 비구조적 접근법보다 개선을 가져오는가?
• RQ3 텐서 바이피라미드가 계산 비용을 과도하게 늘리지 않으면서 다양한 스케일에서 고품질 마스크를 가능하게 하는가?
• RQ4 COCO에서 마스크 AP와 바운딩 박스 AP 측면에서 TensorMask가 Mask R-CNN과 어떻게 비교되는가?

주요 결과

메서드	백본	증강	에포크	AP	AP 50	AP 75	AP S	AP M	AP L
Mask R-CNN [13]	R-50-FPN		24	34.9	57.2	36.9	15.4	36.6	50.8
Mask R-CNN, ours	R-50-FPN		24	34.9	56.8	36.8	15.1	36.7	50.6
Mask R-CNN, ours	R-50-FPN	✓	72	36.8	59.2	39.3	17.1	38.7	52.1
TensorMask	R-50-FPN	✓	72	35.4	57.2	37.3	16.3	36.8	49.3
Mask R-CNN, ours	R-101-FPN	✓	72	38.3	61.2	40.8	18.2	40.6	54.1
TensorMask	R-101-FPN	✓	72	37.1	59.3	39.4	17.4	39.1	51.6

• TensorMask with tensor bipyramid significantly improves mask AP over baseline heads using a feature pyramid, achieving 34.0 AP with 15x15 masks and up to 5.1 AP improvement over the best baseline (TensorMask vs feature pyramid).
• Upscaling with aligned representation (especially for large λ) yields large gains, e.g., aligned heads outperform natural heads by up to 9.2 AP at λ=5.
• The tensor bipyramid yields a substantial AP boost (≈5.1 AP) over the best baseline head on a feature pyramid and delivers higher-quality masks for large objects (AP L rises by 7.7).
• The tensor bipyramid with two window sizes (15x15 and 11x11) provides additional gains (~1.2 AP).
• Compared to Mask R-CNN, TensorMask with ResNet-50/101-FPN and training schedule achieves competitive results on COCO test-dev, with specific masks and box AP comparable to strong baselines.