[논문 리뷰] Deep Joint Task Learning for Generic Object Extraction

Xiaolong Wang, Zhang Li-liang외 3명|arXiv (Cornell University)|2015. 02. 03.

Visual Attention and Saliency Detection참고 문헌 32인용 수 37

한 줄 요약

이 논문은 잠재 변수를 통해 객체 제안을 개선하는 두 개의 합성곱 신경망(CNN)으로 연결된 깊이 동시 작업 학습 프레임워크를 제안한다. 이 프레임워크는 일반 객체 국소화와 픽셀 단위 분할을 동시에 수행한다. MCMC 샘플링을 사용하는 EM 유형 알고리즘을 통해 네트워크 파라미터와 잠재 조정을 반복 최적화함으로써, 이전 방법보다 1000배 빠른 추론 속도를 달성하면서도 최신 기술 수준(SOTA)의 정확도를 확보한다. 이미지당 추론 시간은 단 0.014초이다.

ABSTRACT

This paper investigates how to extract objects-of-interest without relying on hand-craft features and sliding windows approaches, that aims to jointly solve two sub-tasks: (i) rapidly localizing salient objects from images, and (ii) accurately segmenting the objects based on the localizations. We present a general joint task learning framework, in which each task (either object localization or object segmentation) is tackled via a multi-layer convolutional neural network, and the two networks work collaboratively to boost performance. In particular, we propose to incorporate latent variables bridging the two networks in a joint optimization manner. The first network directly predicts the positions and scales of salient objects from raw images, and the latent variables adjust the object localizations to feed the second network that produces pixelwise object masks. An EM-type method is presented for the optimization, iterating with two steps: (i) by using the two networks, it estimates the latent variables by employing an MCMC-based sampling method; (ii) it optimizes the parameters of the two networks unitedly via back propagation, with the fixed latent variables. Extensive experiments suggest that our framework significantly outperforms other state-of-the-art approaches in both accuracy and efficiency (e.g. 1000 times faster than competing approaches).

연구 동기 및 목표

• 기존 슬라이딩 윈도우 및 수작업 특징 기반 방법의 한계를 해결하기 위해 일반 객체 추출을 위한 새로운 접근법을 제시한다.
• 정확도와 효율성을 향상시키기 위해 객체 국소화와 픽셀 단위 분할을 동시에 최적화한다.
• 예측된 객체 바운딩 박스와 정확한 분할 마스크 간의 정렬 오차를 잠재 변수 조정을 통해 해결한다.
• 카테고리별 사전 훈련 없이 다양한 데이터셋에 일반화 가능한 확장 가능한 종단 간(end-to-end) 딥 러닝 프레임워크를 개발한다.

제안 방법

• 객체 국소화를 위한 하나의 브랜치와 픽셀 수준 분할을 위한 다른 브랜치로 구성된 이중 브랜치 딥 신경망 아키텍처이며, 잠재 변수를 통해 객체 제안을 개선한다.
• 잠재 변수는 예측된 바운딩 박스의 공간적 조정(예: 스케일링 또는 이동)을 나타내며, 분할 입력 품질을 향상시킨다.
• EM 유형 최적화 알고리즘은 (1) 데이터 기반 MCMC 샘플링 방법을 사용해 최적의 잠재 변수를 추정하고, (2) 고정된 잠재 변수를 기반으로 역전파를 통해 네트워크 파라미터를 업데이트하는 방식으로 번갈아가며 수행된다.
• MCMC 샘플링은 모든 가능한 제안을 전수 조사하는 것을 피하며, 데이터에서 학습함으로써 효율적인 잠재 변수 추정을 가능하게 한다.
• 통합 목적 함수를 최소화하기 위해 공동 훈련을 수행하며, 이 목적 함수에는 국소화 및 분할 손실이 포함되어 있고, 잠재 변수는 중간 조정 장치로 작용한다.
• 프레임워크는 원시 이미지에서 종단 간으로 훈련되며, 수작업 특징이나 슬라이딩 윈도우 스캔이 필요 없다.

실험 결과

연구 질문

• RQ1 객체 국소화와 분할의 동시 학습이 독립적 또는 순차적 처리보다 성능을 향상시킬 수 있는가?
• RQ2 잠재 변수를 효과적으로 활용해 정렬이 어긋난 객체 제안을 교정하고 분할 정확도를 향상시킬 수 있는가?
• RQ3 딥 러닝 프레임워크가 일반 객체 추출에서 높은 정확도와 극도로 빠른 추론 효율성을 동시에 달성할 수 있는가?
• RQ4 모델은 미세조정 없이도 새로운 데이터셋에 얼마나 잘 일반화되는가?

주요 결과

• OE 데이터셋에서 93.12% 정밀도와 77.69% 재현율(Jaccard 유사도)를 달성하여 최신 기술 수준(SOTA) 방법을 초월한다.
• Saliency 데이터셋에서 91.56% 정밀도와 64.72% 재현율(Jaccard 유사도)를 기록하며 이전 SOTA 결과를 뛰어넘는다.
• 경쟁 방법 대비 50배에서 6000배 빠른 속도를 기록하며, 이미지당 추론 시간은 단 0.014초이다.
• OE 데이터셋에서 잠재 변수 조정을 통한 동시 학습은 별도 훈련 대비 정밀도 1.87%p와 재현율 6.19%p 향상시켰다.
• 미세조정 없이도 새로운 데이터셋에 잘 일반화되며, 인터넷 데이터셋에서 공세분할(co-segmentation) 방법과 비교해 높거나 유사한 성능을 기록했고, 추론 속도는 크게 빠르다.
• 625개의 제안을 전수 조사한 결과 유사한 정확도를 달성했지만 반복 처리당 훈련 시간이 30배 더 길었으며, 이는 MCMC 샘플링 접근법의 효율성을 검증한다.