[논문 리뷰] Oriented Boxes for Accurate Instance Segmentation

Patrick Follmann, Rebecca König|arXiv (Cornell University)|2019. 11. 18.

Advanced Neural Network Applications참고 문헌 27인용 수 8

한 줄 요약

이 논문은 축에 맞춰진 경계 상자(AABBs) 대신 기울인 경계 상자(OBBs)를 사용하여 기울어진, 붙어 있거나 겹치는 물체에 대해 마스크 정확도를 향상시키기 위해 기울인 인스턴스 세그멘테이션(OIS)을 제안한다. 물체의 방향에 맞춰 풀링 영역을 정렬함으로써 배경 간섭을 줄이고 마스크 일관성을 향상시키며, D2S와 Screws에서 mAP를 10–12% 향상시키고, Pill Bags에서는 마스크 주석의 10%만으로 축에 맞춰진 기반 모델을 능가한다.

ABSTRACT

State-of-the-art instance-aware semantic segmentation algorithms use axis-aligned bounding boxes as an intermediate processing step to infer the final instance mask output. This often leads to coarse and inaccurate mask proposals due to the following reasons: Axis-aligned boxes have a high background to foreground pixel-ratio, there is a strong variation of mask targets with respect to the underlying box, and neighboring instances frequently reach into the axis-aligned bounding box of the instance mask of interest. In this work, we overcome these problems by proposing to use oriented boxes as the basis to infer instance masks. We show that oriented instance segmentation improves the mask predictions, especially when objects are diagonally aligned, touching, or overlapping each other. We evaluate our model on the D2S and Screws datasets and show that we can significantly improve the mask accuracy by 10% and 12% mAP compared to instance segmentation using axis-aligned bounding boxes, respectively. On the newly introduced Pill Bags dataset we outperform the baseline using only 10% of the mask annotations.

연구 동기 및 목표

• 축에 맞춰진 경계 상자(AABBs)의 한계를 해결하기 위해, 이는 배경 대 대비 비율이 높고 마스크 예측이 정확하지 못하게 만든다.
• 기울어진, 길쭉한, 또는 겹치는 물체의 마스크 정확도를 향상시키기 위해, 마스크 예측의 기초로 기울인 경계 상자(OBBs)를 사용한다.
• 비용이 많이 드는 픽셀 수준의 마스크 주석이 필요한 양을 줄이기 위해, OIS가 마스크 주석의 10%만으로도 뛰어난 성능을 낼 수 있음을 보여준다.
• 예측된 마스크를 사용해 기울인 상자 예측을 더 잘 다듬을 수 있도록 하여, 마스크와 상자 mAP를 모두 향상시킨다.

제안 방법

• 축에 맞춰진 상자 제안을 기울인 상자 검출로 대체하여 마스크 헤드의 입력으로 사용하고, 물체의 방향에 맞춰지도록 회전 불변 풀링을 적용한다.
• 기존의 인스턴스 세그멘테이션 아키텍처(예: Mask R-CNN, RetinaMask)를 수정하여 RoI 풀링 레이어를 기울인 상자(회전 및 종횡비 포함)를 처리할 수 있도록 한다.
• 기울임을 예측할 수 있는 미분 가능한 회전 헤드를 사용하여 OIS의 엔드 투 엔드 학습을 가능하게 한다.
• 겹치는 제안을 줄이기 위해 기울인 상자에 대해 비최대 억제(NMS)를 적용하여 가짜 양성 예측을 감소시킨다.
• 주석이 없는 인스턴스의 마스크 손실 가중치를 0으로 설정하여 희박한 마스크 감독을 통해 부분 감독 학습을 가능하게 한다.
• 예측된 마스크를 사용해 기울인 상자 예측을 다듬는다. 마스크에서 재추정한 방향을 통해 상자 mAP를 향상시킨다.

실험 결과

연구 질문

• RQ1 기울인 경계 상자(OBBs)는 특히 기울어진 방향이나 겹치는 물체에 대해 축에 맞춰진 상자(AABBs)에 비해 마스크 정확도를 크게 향상시킬 수 있는가?
• RQ2 기울인 인스턴스 세그멘테이션은 비용이 많이 드는 픽셀 수준의 마스크 주석이 필요한 양을 어느 정도 줄일 수 있는가?
• RQ3 OIS에서 예측된 인스턴스 마스크를 사용해 기울인 상자 검출을 다듬을 수 있으며, 만약 가능하다면 상자 mAP는 얼마나 향상되는가?
• RQ4 고도로 유사한 물체와 제한된 변형이 있는 실제 산업용 데이터셋에서 OIS는 어떻게 성능을 내는가?

주요 결과

• D2S 데이터셋에서 OIS는 Mask R-CNN를 사용할 경우 마스크 mAP를 45%에서 55%로 향상시키고, RetinaMask를 사용할 경우 46%에서 55%로 향상시켜 상대적 10% 향상률을 기록한다.
• Screws 데이터셋에서 OIS는 마스크 mAP를 41.5%에서 53.4%로 향상시켜 상대적 12% 향상률을 기록하며, 마스크 예측의 일관성이 크게 향상된다.
• Pill Bags 데이터셋에서 OIS는 마스크 주석의 10%만으로도 축에 맞춰진 기반 모델과 유사한 mAP 성능을 달성하며, 기반 모델이 100% 주석을 사용할 때조차도 성능을 뛰어넘는다.
• OIS에서 예측된 마스크는 기울인 상자 검출을 다듬는 데 사용될 수 있으며, 마스크에서 유도된 방향을 사용할 경우 Screws에서 상자 mAP가 1.5% 향상된다.
• OIS는 물체의 방향에 맞춰 풀링 영역을 정렬함으로써 배경 간섭과 마스크 변동성을 줄여 더 일관되고 정확한 마스크 타겟을 제공한다.
• 정성적 결과는 OIS가 축에 맞춰진 기반 모델에 비해 특히 길쭉하거나 기울어진 물체에 대해 더 선명하고 정확한 마스크를 생성함을 보여준다.