[논문 리뷰] Location Augmentation for CNN

Zhenyi Wang, Olga Veksler|arXiv (Cornell University)|2018. 07. 18.

Indoor and Outdoor Localization Technologies참고 문헌 18인용 수 8

한 줄 요약

이 논문은 RGB 입력 이미지에 위치 인식 채널을 추가하여 컴퓨터 비전 작업을 위한 CNN을 향상시키는 방법을 제안한다. 위치 인식 채널은 직접 좌표(행과 열) 또는 이미지 중심에서의 간접적인 거리 변환을 포함한다. 이 방법은 명현 객체 세그멘테이션, 세분화 분류, 시나리오 파싱에서 성능을 크게 향상시키며, 거리 변환 증강이 더 좋은 성능을 내는 이유는 파라미터 부담이 줄어들고 공간 불변성이 효과적으로 작용하기 때문이다.

ABSTRACT

CNNs have made a tremendous impact on the field of computer vision in the last several years. The main component of any CNN architecture is the convolution operation, which is translation invariant by design. However, location in itself can be an important cue. For example, a salient object is more likely to be closer to the center of the image, the sky in the top part of an image, etc. To include the location cue for feature learning, we propose to augment the color image, the usual input to CNNs, with one or more channels that carry location information. We test two approaches for adding location information. In the first approach, we incorporate location directly, by including the row and column indexes as two additional channels to the input image. In the second approach, we add location less directly by adding distance transform from the center pixel as an additional channel to the input image. We perform experiments with both direct and indirect ways to encode location. We show the advantage of augmenting the standard color input with location related channels on the tasks of salient object segmentation, semantic segmentation, and scene parsing.

연구 동기 및 목표

• 이동 불변성 컨볼루션으로 인해 CNN이 공간 위치 정보를 상실하는 한계를 해결하기 위해.
• 증강된 입력 채널을 통한 공간 사전 지식의 통합이 비전 작업에서 특징 학습을 향상시키는지 조사하기 위해.
• 위치 정보를 인코딩하기 위한 직접적(좌표)과 간접적(거리 변환) 방법을 모두 평가하기 위해.
• 여러 세그멘테이션 벤치마크에서 위치 증강이 딥 네트워크 성능에 미치는 영향을 규명하기 위해.
• 위치 채널을 추가했을 때 모델 복잡성과 성능 향상 간의 트레이드오프를 평가하기 위해.

제안 방법

• 표준 RGB 입력에 행과 열 픽셀 인덱스를 인코딩하는 두 개의 추가 채널을 추가하여 직접 위치 인코딩을 수행한다.
• 직접 좌표를 대체로 이미지 중심에서의 유클리드 거리의 거리 변환 채널을 사용하여 간접 인코딩을 수행한다.
• 증강된 입력을 사용하여 완전 컨volution 네트워크(FCNs)를 훈련시키며, 표준 아키텍처를 유지하되 입력 레이어만 수정한다.
• 기본 네트워크로 FCN-32s를 사용하고, Cityscapes 및 PASCAL-S 데이터셋에서 SGD와 고모멘타를 사용해 훈련한다.
• RGB-only, RGB+좌표, RGB+거리, RGB+좌표+거리 입력 간 성능을 비교한다.
• 사전 훈련된 가중치의 영향을 피하기 위해 첫 번째 레이어 필터를 무작위로 초기화하여 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 CNN의 입력에 위치 정보를 추가하면 세분화 및 인스턴스 수준의 세그멘테이션 작업에서 성능 향상이 이루어지는가?
• RQ2 직접 좌표와 간접 거리 변환 중 어느 위치 인코딩 방법이 더 높은 성능를 내며, 그 이유는 무엇인가?
• RQ3 네트워크의 깊이가 위치 증강의 상대적 이점에 미치는 영향은 어떠한가?
• RQ4 특정 객체 클래스나 시나리오 유형에서는 위치 증강이 비례 이상의 성능 향상을 가져오는가?
• RQ5 위치 채널을 추가하는 데 드는 계산 비용은 얼마이며, 더 깊은 네트워크에서도 여전히 무시무시한가?

주요 결과

• Cityscapes 시나리오 파싱 벤치마크에서 거리 변환을 통한 위치 정보 추가(RGB+dist)가 RGB-only 입력 대비 평균 IoU를 3.3% 향상시켰다.
• 거리 변환 방법이 대부분의 경우 직접 좌표 인코딩(RGB+coord)보다 성능이 뛰어나며, 이는 파라미터 수가 적고 공간 불변성이 효과적으로 작용하기 때문으로 보인다.
• PASCAL-S에서 최적의 구성(RGB+dist+coord)이 RGB-only 입력 대비 F-측정치에서 5.2% 향상되었다.
• 비행기와 새 클래스에서 가장 큰 성능 향상(각각 8.5%와 거의 5%)을 보였는데, 이는 일반적으로 이미지의 상단 부위에 위치하기 때문으로 보인다.
• 버스 클래스는 위치 증강으로 성능 향상이 없었으며, 이는 데이터셋 내에서 자동차보다 공간 분포가 더 무작위적이기 때문일 수 있다.
• 더 깊은 네트워크는 위치 증강에 덜 민감하지만, 여전히 상당한 성능 향상이 유지되었으며, 계산 오버헤드도 최소한이었다.