[논문 리뷰] How Can CNNs Use Image Position for Segmentation?

Rito Murase, Masanori Suganuma외 1명|arXiv (Cornell University)|2020. 05. 07.

Advanced Neural Network Applications참고 문헌 20인용 수 12

한 줄 요약

이 논문은 병변 영상 분할에서 합성곱 신경망(CNNs)이 절대 이미지 위치를 어떻게 활용하는지 조사하며, 입력 채널에 좌표 정보를 명시적으로 삽입하는 위치 인코딩(PE)과 다양한 패딩 방법을 비교한다. 결과적으로 PE는 이미지 열화에 대한 강건성을 향상시키지만, 열화되지 않은 이미지에선 유의미한 이점이 없음을 보여, 절대 위치가 직관이 지적하는 것만큼 중요하지 않음을 시사한다. 특히 충분한 훈련 데이터와 모델 용량이 있을 경우 더욱 그렇다.

ABSTRACT

Convolution is an equivariant operation, and image position does not affect its result. A recent study shows that the zero-padding employed in convolutional layers of CNNs provides position information to the CNNs. The study further claims that the position information enables accurate inference for several tasks, such as object recognition, segmentation, etc. However, there is a technical issue with the design of the experiments of the study, and thus the correctness of the claim is yet to be verified. Moreover, the absolute image position may not be essential for the segmentation of natural images, in which target objects will appear at any image position. In this study, we investigate how positional information is and can be utilized for segmentation tasks. Toward this end, we consider {\em positional encoding} (PE) that adds channels embedding image position to the input images and compare PE with several padding methods. Considering the above nature of natural images, we choose medical image segmentation tasks, in which the absolute position appears to be relatively important, as the same organs (of different patients) are captured in similar sizes and positions. We draw a mixed conclusion from the experimental results; the positional encoding certainly works in some cases, but the absolute image position may not be so important for segmentation tasks as we think.

연구 동기 및 목표

• CNN이 분할 작업, 특히 위치가 더 중요할 수 있는 의료 영상에서 절대 이미지 위치를 사용하는지 여부와 방식을 조사하는 것.
• 0-padding 및 기타 패딩 전략에서 유도되는 암묵적 위치 신호와 비교해 명시적 위치 인코딩(PE)의 효과를 평가하는 것.
• 다양한 강도로 PE를 사용할 때 청소년 데이터 성능와 열화에 대한 강건성 간의 상충 관계를 평가하는 것.
• 특히 도메인 이동 또는 데이터 분포 변화가 발생할 경우 절대 위치 정보가 정확한 분할에 실제로 필수적인지 판단하는 것.

제안 방법

• 각 픽셀의 x- 및 y-좌표 값을 정규화하여 [0, λ] 범위로 변환한 두 개의 채널을 입력 이미지에 추가함으로써 위치 인코딩(PE)을 도입한다.
• 스케일링 인자 λ를 통해 픽셀 강도 대비 위치의 상대적 중요도를 제어하며, 이는 입력 텐서에서 좌표 채널의 기여도를 조절한다.
• JSRT 및 ACDC 두 개의 의료 영상 분할 데이터셋에서 U-Net과 소형 CNN 모델을 PE 유무에 따라 훈련하여 성능을 비교한다.
• 표준 테스트 세트와 합성적으로 열화된 버전을 모두 평가하여 실제 도메인 이동를 시뮬레이션하고 강건성을 평가한다.
• 0-padding, 반사 패딩 등 여러 패딩 방법과 비교해, 패딩이 위치 정보를 어떻게 암묵적으로 전달하는지 분석한다.
• 다양한 설정과 열화 수준에서 분할 성능를 정량화하기 위해 Dice 계수를 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 표준 패딩 방법과 비교해 명시적 위치 인코딩(PE)이 분할 정확도와 이미지 열화에 대한 강건성을 향상시키는가?
• RQ2 위치 인코딩의 강도(λ로 제어)가 청소년 이미지 성능와 열화에 대한 강건성 간의 상충 관계에 어떻게 영향을 미치는가?
• RQ3 충분한 훈련 데이터가 존재할 경우 CNN이 실제로 절대 이미지 위치에 얼마나 의존하는가?
• RQ4 절대 위치 정보 사용이 이중 갈래 칼로, 공간 이동에 민감한 성능 저하를 초래하고 일반화 능력을 해칠 수 있는가?
• RQ5 다양한 패딩 전략은 어떻게 암묵적으로 위치 정보를 전달하는가? 그리고 성능 및 강건성 측면에서 명시적 PE와 비교해 볼 때 어떻게 다른가?

주요 결과

• 위치 인코딩(PE)은 이미지 열화에 대한 강건성을 크게 향상시키며, λ 값이 클수록 더 큰 열화에 대한 내성을 확보하지만, 이는 청소년 이미지에서 약간의 성능 저하를 동반한다.
• 청결한 이미지에서는 PE가 U-Net 모델에 거의 영향을 주지 않거나 약간의 부정적 영향을 미치며, 이는 충분한 데이터와 모델 용량이 있을 경우 이러한 모델이 절대 위치에 의존하지 않음을 시사한다.
• 작은 데이터셋에서는 소형 CNN과 함께 PE를 사용할 경우 성능 향상이 나타나며, 이는 PE가 낮은 데이터 환경에서 유도적 편향을 제공함으로써 도움이 된다는 것을 시사한다.
• 입력이 공간적으로 이동된 경우 PE 없이 훈련된 모델이 PE를 사용한 모델보다 성능이 뛰어나며, 이는 PE가 공간 이동성의 감소와 이동 편향에 대한 일반화 능력 저하를 유발할 수 있음을 나타낸다.
• 0-padding는 반사 패딩보다 더 효과적인 위치 정보를 제공하며, 기본 모델에서 열화에 대한 강건성이 더 뛰어나다는 점에서 이를 뒷받침한다.
• PE의 포함으로 인해 열화 조건에서 패딩 방법 간의 성능 차이가 사라지며, 이는 PE가 패딩에서 유도되는 암묵적 위치 신호를 초월함을 시사한다.