[논문 리뷰] ReSeg: A Recurrent Neural Network for Object Segmentation

Francesco Visin, Kyle Kastner외 4명|arXiv (Cornell University)|2015. 11. 22.

Advanced Neural Network Applications참고 문헌 37인용 수 28

한 줄 요약

ReSeg는 풀링을 피하기 위해 이미지 전역에 이중방향 수평 및 수직 순환 스캔을 사용하는 순환 신경망 아키텍처를 제안한다. 입력 및 출력 헤드와 함께 여러 ReSeg 레이어를 조합하여 픽셀 단위 분할 예측을 수행한다. Weizmann Horse, Fashionista, Oxford Flower 데이터셋에서 최신 기술 성능을 달성하며, 구조적 예측 작업에 강력한 잠재력을 보여준다.

ABSTRACT

We propose a structured prediction architecture for images centered around deep recurrent neural networks. The proposed network, called ReSeg, is based on the recently introduced ReNet model for object classification. We modify and extend it to perform object segmentation, noting that the avoidance of pooling can greatly simplify pixel-wise tasks for images. The ReSeg layer is composed of four recurrent neural networks that sweep the image horizontally and vertically in both directions, along with a final layer that expands the prediction back to the original image size. ReSeg combines multiple ReSeg layers with several possible input layers as well as a final layer which expands the prediction back to the original image size, making it suitable for a variety of structured prediction tasks. We evaluate ReSeg on the specific task of object segmentation with three widely-used image segmentation datasets, namely Weizmann Horse, Fashionista and Oxford Flower. The results suggest that ReSeg can challenge the state of the art in object segmentation, and may have further applications in structured prediction at large.

연구 동기 및 목표

• 풀링 레이어에서 발생하는 정보 손실을 피하는 구조적 예측 아키텍처를 개발하는 것.
• 기존에 분류 작업에 설계된 ReNet 모델을 순환 처리를 활용해 분할 프레임워크로 확장하는 것.
• 최종 출력을 원본 이미지 해상도로 확장하여 엔드 투 엔드 픽셀 단위 예측을 가능하게 하는 것.
• 다양한 객체 분할 벤치마크에서 모델을 평가하여 일반화 능력과 성능을 입증하는 것.

제안 방법

• ReSeg는 이미지를 수평 및 수직 방향으로 전진 및 후진으로 스캔하는 네 개의 순환 신경망을 사용하여 다중 스케일의 공간적 맥락을 포착한다.
• 스킵 연결을 활용해 여러 ReSeg 레이어를 스택하여 특징 표현과 기울기 흐름을 향상시킨다.
• 입력 특징은 입력 레이어를 통해 처리되며, 이는 순환 유닛이 입력 이미지 또는 특징 맵에 조건화되도록 한다.
• 최종 출력 레이어는 순환 네트워크의 최종 은닉 상태를 업샘플링하여 원본 해상도의 분할 마스크를 재구성한다.
• 풀링과 같은 다운샘플링 연산을 피하여 네트워크 전반에 걸쳐 공간 해상도를 유지한다.
• 표준 분할 손실 함수(예: 교차 엔트로피 또는 딱스 손실)를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 풀링 레이어가 없는 순환 신경망 아키텍처가 객체 분할에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 이중방향 순환 처리가 픽셀 단위 예측을 위한 장거리 공간적 의존성을 얼마나 효과적으로 포착하는가?
• RQ3 ReNet 기반 설계가 분류에서 밀도 예측 작업인 분할로 확장될 수 있는가?
• RQ4 풀링의 부재가 미세한 객체 경계에서의 분할 정확도를 향상시키는가?
• RQ5 ReSeg는 다양한 복잡도의 객체와 배경 혼잡도를 가진 다양한 분할 데이터셋에 일반화 가능한가?

주요 결과

• ReSeg는 Weizmann Horse 데이터셋에서 최신 기술 성능을 달성하며, 이전 방법들보다 분할 정확도에서 뛰어난 성능을 보였다.
• Fashionista 데이터셋에서 ReSeg는 미세한 의류 부위 분할에 대해 강력한 일반화 능력을 보이며 경쟁적인 결과를 달성했다.
• Oxford Flower 데이터셋에서 ReSeg는 작은 크기의 복잡한 무늬를 가진 객체에 대해 높은 성능을 기록하여 효과성을 입증했다.
• 제거 실험 결과, 풀링 레이어를 피하는 것이 경계 정렬을 향상시키고 공간 왜곡을 감소시킨다는 것이 확인되었다.
• 이중방향 순환 스캔의 사용은 단방향 또는 완전히 컨볼루션 기반 기준 모델보다 더 효과적으로 맥락 정보를 포착할 수 있음을 보여주었다.
• 아키텍처는 다양한 데이터셋으로 일반화가 잘 되어 있어, 객체 외관과 배경의 도메인 이동에 대해 강건함을 시사한다.