[논문 리뷰] Some open questions on morphological operators and representations in the deep learning era

Jesús Angulo|arXiv (Cornell University)|2021. 05. 04.

Topological and Geometric Data Analysis참고 문헌 95인용 수 8

한 줄 요약

이 논문은 현대 인공지능 파라다임 내에서 형태학적 연산자와 표현 방식을 재구상함으로써 수학적 형태학을 딥러닝과 통합하는 연구 계획을 제안한다. 딥러닝 기법—예를 들어 신경망, 자연어 처리(NLP), 프로그램 합성—을 활용하여 형태학적 연산자, 구조 요소, 형태학적 프로그램을 자동으로 학습하고자 하며, 이는 이론적 형태학을 엔드 투 엔드로 미분 가능한 아키텍처와 통합하여 인공지능 시스템의 해석 가능성과 설계를 향상시키는 것을 목표로 한다.

ABSTRACT

During recent years, the renaissance of neural networks as the major machine learning paradigm and more specifically, the confirmation that deep learning techniques provide state-of-the-art results for most of computer vision tasks has been shaking up traditional research in image processing. The same can be said for research in communities working on applied harmonic analysis, information geometry, variational methods, etc. For many researchers, this is viewed as an existential threat. On the one hand, research funding agencies privilege mainstream approaches especially when these are unquestionably suitable for solving real problems and for making progress on artificial intelligence. On the other hand, successful publishing of research in our communities is becoming almost exclusively based on a quantitative improvement of the accuracy of any benchmark task. As most of my colleagues sharing this research field, I am confronted with the dilemma of continuing to invest my time and intellectual effort on mathematical morphology as my driving force for research, or simply focussing on how to use deep learning and contributing to it. The solution is not obvious to any of us since our research is not fundamental, it is just oriented to solve challenging problems, which can be more or less theoretical. Certainly, it would be foolish for anyone to claim that deep learning is insignificant or to think that one's favourite image processing domain is productive enough to ignore the state-of-the-art. I fully understand that the labs and leading people in image processing communities have been shifting their research to almost exclusively focus on deep learning techniques. My own position is different: I do think there is room for progress on mathematically grounded image processing branches, under the condition that these are rethought in a broader sense from the deep learning paradigm. Indeed, I firmly believe that the convergence between mathematical morphology and the computation methods which gravitate around deep learning (fully connected networks, convolutional neural networks, residual neural networks, recurrent neural networks, etc.) is worthwhile. The goal of this talk is to discuss my personal vision regarding these potential interactions. Without any pretension of being exhaustive, I want to address it with a series of open questions, covering a wide range of specificities of morphological operators and representations, which could be tackled and revisited under the paradigm of deep learning. An expected benefit of such convergence between morphology and deep learning is a cross-fertilization of concepts and techniques between both fields. In addition, I think the future answer to some of these questions can provide some insight on understanding, interpreting and simplifying deep learning networks.

연구 동기 및 목표

• 신경망의 시대에 형태학이 오래된 혹은 무의미하다는 인식을 해소하기 위해 딥러닝 프레임워크 내에 형태학을 통합함으로써 그 활성화를 도모한다.
• 수학적으로 탄탄하면서도 현대 딥러닝 파이프라인과 호환 가능한 형태학적 연산자와 표현 방식을 설계하는 데 도전한다.
• 입력-출력 이미지 쌍으로부터 지도 학습, 유전 알고리즘, 또는 PAC 학습을 활용해 데이터 기반으로 자동으로 형태학적 연산자와 조합을 탐색한다.
• 자연어 처리 기법을 활용하여 형태학적 프로그램을 '텍스트'로 모델링하고, 단어 임베딩 및 프로그램 임베딩 학습을 위해 언어 모델링을 적용한다.
• 해석 가능성, 일반화 능력, 아키텍처 혁신을 향상시키기 위해 체계적이고 이론 기반의 형태학적 AI 접근법을 개발한다.

제안 방법

• 이미지 쌍에 대해 확률적 경사 하강법를 사용해 컨volutional 신경망을 훈련시켜 형태학적 연산자(예: 침식, 팽창, 열림, 닫힘)를 딥러닝으로 학습한다.
• 형태학적 프로그램을 연산의 시퀀스(예: '디스크로 팽창', '선으로 열림')로 모델링하고, word2vec 또는 context2vec와 같은 NLP 기법을 활용해 연산자와 구조 요소의 임베딩을 학습한다.
• 형태학적 연산자와 구조 요소를 위한 구조적 토큰을 갖는 형태학적 언어를 정의하며, 의미 표현력과 학습 가능성 사이의 균형을 위해 정밀도를 최적화한다.
• 프로그램 합성과 조합 최적화를 적용해 형태학적 프로그램 공간을 탐색하고, 딥러닝을 활용해 후보 프로그램의 순위를 매기고 단순화한다.
• 형태학적 신경망과 연관 기억 장치를 딥아키텍처 내의 미분 가능한 구성 요소로 통합하며, 형태학적 퍼셉트론을 영감으로 삼는다.
• 격자 이론, Choquet 용적, 해밀턴–자코비 PDE 등 이론적 기반을 활용해, 수학적 일致성을 확보하면서도 미분 가능한 형태학적 레이어 설계를 이끌어낸다.

실험 결과

연구 질문

• RQ1 딥러닝을 통해 형태학적 연산자(예: 팽창, 침식)를 효과적으로 매개변수화하고 학습시킬 수 있는 방법은 무엇이며, 특히 기울기 하강법를 통한 엔드 투 엔드 훈련에서 어떻게 작동할 수 있는가?
• RQ2 형태학적 프로그램을 NLP 기반 학습에 적합한 형식 언어로 표현하는 데 가장 적합한 방법은 무엇이며, 연산자 및 구조 요소 구성 요소는 어떻게 토큰화되어야 하는가?
• RQ3 전문가가 작성한 대규모 형태학적 프로그램 코퍼스를 추출하여 의미 있는 임베딩(예: operator2vec)을 사전 훈련할 수 있는가? 그리고 이는 후속 프로그램 생성 작업에 활용될 수 있는가?
• RQ4 딥러닝과 조합 최적화를 어떻게 융합하여 대규모 형태학적 프로그램 공간을 탐색하고 효율적이며 해석 가능한 조합을 발견할 수 있는가?
• RQ5 격자 이론, 등급형 대수, 다중 척도의 군 등 형태학의 이론적 기반은 어떻게 미분 가능한 딥러닝 아키텍처에 통합될 수 있으며, 이를 통해 해석 가능성과 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 딥러닝은 반복 평균을 점근적 근사로 사용함으로써 팽창 및 침식과 같은 형태학적 연산자를 학습할 수 있으며, 이는 구조 요소와 조합의 엔드 투 엔드 훈련을 가능하게 한다.
• 기존의 접근 방식들(예: [47])은 CNN이 열림과 닫힘의 합성으로서 TV-정규화를 근사할 수 있음을 보여주며, 형태학적 파이프라인 학습의 가능성에 대한 타당성을 입증한다.
• 형태학적 프로그램에 NLP 기법을 적용하는 것은 유망하지만, 효과적인 사전 훈련을 위해 충분히 크고 레이블이 부여된 형태학적 프로그램 코퍼스가 현재 부족하여 제한된다.
• 딥러닝을 활용한 프로그램 합성 능력은 짧고 도메인 특화된 형태학적 프로그램에만 제한되어 있어, 확장 가능한 탐색 및 모듈화된 분해 전략의 필요성이 제기된다.
• 격자 기반 공식화, Choquet 용적, 트로픽 기하학 등 형태학의 이론적 기반은 학습된 형태학적 모델의 강건성과 해석 가능성 향상에 강력한 수학적 기초를 제공한다.
• 수학적 형태학과 딥러닝 간의 융합은 가능할 뿐 아니라 유익하며, 형태 기반의 해석 가능한 연산자를 통해 신경망 행동에 대한 깊이 있는 이해와 상호 보완적인 발전을 이끌 수 있다.