[논문 리뷰] Deep Convolutional Neural Networks: A survey of the foundations, selected improvements, and some current applications

Lars Ankile, Morgan Feet Heggland외 1명|arXiv (Cornell University)|2020. 11. 25.

Advanced Neural Network Applications참고 문헌 9인용 수 9

한 줄 요약

이 종합적 서베이 논문은 컨볼루션 신경망(CNNs)에 대한 포괄적인 개요를 제공하며, 그 기초 원리와 국소 연결 및 타일링 컨볼루션과 같은 핵심 개선 사항, 그리고 푸리에 변환을 활용한 계산 최적화를 중심으로 다룹니다. 이 논문은 실시간 객체 탐지용 YOLO 및 유방 조영 검사에서의 종양 탐지 등 실제 응용 분야에서 CNN의 최신 성능을 입증하며, 민감도 손실이 최소화된 상태에서 방사선 전문의보다 특이도에서 뛰어난 성능을 보임을 보여줍니다.

ABSTRACT

Within the world of machine learning there exists a wide range of different methods with respective advantages and applications. This paper seeks to present and discuss one such method, namely Convolutional Neural Networks (CNNs). CNNs are deep neural networks that use a special linear operation called convolution. This operation represents a key and distinctive element of CNNs, and will therefore be the focus of this method paper. The discussion starts with the theoretical foundations that underlie convolutions and CNNs. Then, the discussion proceeds to discuss some improvements and augmentations that can be made to adapt the method to estimate a wider set of function classes. The paper mainly investigates two ways of improving the method: by using locally connected layers, which can make the network less invariant to translation, and tiled convolution, which allows for the learning of more complex invariances than standard convolution. Furthermore, the use of the Fast Fourier Transform can improve the computational efficiency of convolution. Subsequently, this paper discusses two applications of convolution that have proven to be very effective in practice. First, the YOLO architecture is a state of the art neural network for image object classification, which accurately predicts bounding boxes around objects in images. Second, tumor detection in mammography may be performed using CNNs, accomplishing 7.2% higher specificity than actual doctors with only .3% less sensitivity. Finally, the invention of technology that outperforms humans in different fields also raises certain ethical and regulatory questions that are briefly discussed.

연구 동기 및 목표

• 컨볼루션 신경망(CNNs)의 이론적 및 실용적 기초에 대한 상세한 서베이를 제공하는 것.
• 특징 학습을 향상시키고 불변성 제약을 줄이는 데 기여하는 국소 연결 레이어 및 타일링 컨볼루션과 같은 방법론적 개선 사항을 검토하는 것.
• 특히 푸리에 변환을 활용한 계산 최적화를 분석하여 컨볼루션의 효율성을 향상시키는 것.
• 실시간 객체 탐지용 YOLO 및 유방 조영 영상에서의 CNN 기반 종양 탐지와 같은 CNN의 실제 응용을 평가하는 것.
• 의료 분야와 같이 인간의 성능을 초월하는 AI 시스템을 도입할 경우 발생하는 윤리적 및 규제적 영향을 논의하는 것.

제안 방법

• 논문은 신경망 내 선형 연산으로서의 컨볼루션의 이론적 기초를 다루는 구조화된 서베이 방법론을 사용합니다.
• 이들은 이미지와 같은 격자 구조 데이터에 대해 학습 가능한 커널(필터)를 적용하는 컨볼루션의 핵심 메커니즘을 분석합니다.
• 이들은 표준 컨볼루션에서의 가중치 공유를 대체하기 위해 공간적으로 적응 가능한 특징 학습이 가능한 국소 연결 레이어를 소개합니다.
• 이들은 파rameter 공유와 더불어 향상된 불변성 학습 능력을 갖춘 하이브리드 접근 방식인 타일링 컨볼루션을 탐구합니다.
• 이들은 주파수 도메인에서 요소 간 곱셈으로 변환함으로써 컨볼루션 계산을 가속화하기 위해 빠른 푸리에 변환(FFT)의 사용을 평가합니다.
• 이러한 개념들은 YOLO와 같은 실제 아키텍처 및 의료 영상 처리 파이프라인에 적용되어 실용적 구현 사례를 제시합니다.

실험 결과

연구 질문

• RQ1 컨볼루션 연산은 신경망 내에서 표준 행렬 곱셈과 근본적으로 어떻게 다릅니다? 그리고 왜 격자 구조 데이터에 효과적인가요?
• RQ2 공간적으로 다양하게 변화하는 특징 탐지가 필요한 상황에서 국소 연결 레이어는 표준 컨볼루션 레이어보다 어떻게 향상될 수 있나요?
• RQ3 타일링 컨볼루션은 표준 컨볼루션보다 더 복잡한 불변성을 학습할 수 있는가, 동시에 계산 효율성을 유지합니까?
• RQ4 빠른 푸리에 변환은 딥러닝 모델에서 컨볼루션의 계산 비용을 어느 정도 줄일 수 있나요?
• RQ5 의료 진단과 같이 높은 위험을 수반하는 분야에서 인간 전문가를 능가하는 AI 시스템을 도입할 경우 발생하는 윤리적 및 규제적 과제는 무엇인가요?

주요 결과

• YOLO 아키텍처는 실시간 객체 탐지에서 최신 기술 수준의 성능을 달성하여 근접 실시간으로 다수의 객체에 대한 경계 상자 예측을 정확히 수행합니다.
• 유방 조영 영상에 적용된 CNN는 숙련된 방사선 전문의보다 특이도에서 7.2% 높은 성능을 보였으며, 민감도는 단지 0.3% 감소에 그쳤습니다.
• 타일링 컨볼루션은 표준 컨볼루션보다 더 복잡한 불변성을 학습할 수 있으며, 同시에 일부 가중치 공유의 이점을 유지합니다.
• 빠른 푸리에 변환의 사용은 주파수 도메인에서 요소 간 곱셈으로 변환함으로써 컨볼루션의 계산 효율성을 크게 향상시킵니다.
• 국소 연결 레이어는 가중치 공유를 제거함으로써 표준 컨볼루션에 대한 민감한 대체 방안을 제공하며, 공간적으로 국소화된 특징에 대한 적응이 가능합니다.
• 논문은 CNN가 의료 영상 분야에서 이미 특정 지표에서 인간을 능가하고 있음에도 불구하고, AI 도입에 따른 윤리적 고려 사항은 여전히 중요하고 규제가 미흡하다고 결론을 내립니다.