[논문 리뷰] Soft edit distance for differentiable comparison of symbolic sequences

Evgenii Ofitserov, В. Я. Цветков외 1명|arXiv (Cornell University)|2019. 04. 29.

Algorithms and Data Compression참고 문헌 10인용 수 4

한 줄 요약

이 논문은 기호 시퀀스에 대한 기울기 기반 최적화를 가능하게 하는 미분 가능하고 부드러운 레벤슈타인 편집 거리의 근사치인 소프트 편집 거리(Soft Edit Distance, SED)를 소개한다. 시퀀스를 연속적인 인코딩 행렬로 표현하고 온도 매개변수 τ를 사용한 소프트민 연산을 적용함으로써, SED는 역전파를 효율적으로 지원하고 재귀 관계를 통해 다항 시간 복잡도로 계산 가능하다. 이는 생물정보학 및 자연어처리 분야에서 시퀀스 군집화와 공통 시퀀스 탐색에 효과적으로 활용된다.

ABSTRACT

Edit distance, also known as Levenshtein distance, is an essential way to compare two strings that proved to be particularly useful in the analysis of genetic sequences and natural language processing. However, edit distance is a discrete function that is known to be hard to optimize. This fact hampers the use of this metric in Machine Learning. Even as simple algorithm as K-means fails to cluster a set of sequences using edit distance if they are of variable length and abundance. In this paper we propose a novel metric - soft edit distance (SED), which is a smooth approximation of edit distance. It is differentiable and therefore it is possible to optimize it with gradient methods. Similar to original edit distance, SED as well as its derivatives can be calculated with recurrent formulas at polynomial time. We prove usefulness of the proposed metric on synthetic datasets and clustering of biological sequences.

연구 동기 및 목표

• 편집 거리의 이산성으로 인해 기계학습에서 최적화가 어려운 문제를 해결하기 위해.
• 변형 길이의 기호 시퀀스에서 군집화 및 중심점 계산을 위한 기울기 기반 최적화를 가능하게 하기 위해.
• 편집 거리의 해석 가능성과 계산 효율성을 유지하면서도 연속적이고 기울기 기반인 메트릭을 개발하기 위해.
• 기존의 이산적 편집 거리 대신 기울기 기반 대체 방법을 사용함으로써 K-means와 같은 표준 기계학습 알고리즘을 시퀀스 데이터에 적용할 수 있도록 하기 위해.
• 기존 동적 프로그래밍의 한계를 극복하고 생물정보학 및 자연어처리 분야에서 대규모 시퀀스 분석에 적용 가능한 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 기호 시퀀스를 길이 L과 알파벳 G의 크기 |G|를 가진 연속적 one-hot 인코딩 행렬 L×|G|로 표현하며, 각 행은 알파벳 G에 대한 소프트맥스 확률 벡터이다.
• 온도 매개변수 τ에 의해 스케일링된 음의 편집 비용의 지수 함수에 가중치를 부여한 모든 가능한 편집 경로에 대해 소프트민 연산을 사용하여 소프트 편집 거리(Soft Edit Distance, SED)를 정의한다.
• 전통적인 편집 거리와 유사한 동적 프로그래밍 상태에 대한 재귀 관계를 사용하여 SED와 그 기울기를 수식화하며, 이는 고전적 편집 거리와 유사하지만 기울기 기반이다.
• 역전파를 가능하게 하기 위해 보조 변수 αi,j 및 βi,j 를 도입하여 SED와 그 도함수를 재귀적으로 계산한다.
• 온도 τ < 0 을 사용하여 최소 연산의 연속적 완화를 제어하며, τ → −∞ 일 때 원래의 편집 거리로 복원된다.
• 매칭, 삽입, 삭제, 치환 등의 편집 연산에 대한 가중치 합을 사용하여 SED와 그 기울기의 닫힌 형태 재귀 관계를 유도함으로써 다항 시간 복잡도 계산이 가능하다.

실험 결과

연구 질문

• RQ1 원래 메트릭의 해석 가능성과 구조를 유지하면서도 기울기 기반 근사치를 구성할 수 있는가?
• RQ2 기울기 기반 최적화를 통해 시퀀스 군집화 및 공통 시퀀스 탐지에 효과적으로 활용할 수 있는가?
• RQ3 제안된 소프트 편집 거리는 고전적 편집 거리와 유사한 계산 효율성을 유지하면서도 역전파에 적합한가?
• RQ4 합성 및 실제 생물학적 시퀀스 군집화 작업에서 표준 편집 거리와 비교해 소프트 편집 거리의 성능은 어떠한가?
• RQ5 기울기 기반 최적화를 사용해 시퀀스 공간에서 중심점을 효율적으로 계산할 수 있는가?

주요 결과

• 제안된 소프트 편집 거리(Soft Edit Distance, SED)는 레벤슈타인 편집 거리의 부드럽고 기울기 기반 근사치이며, 시퀀스 공간에서 기울기 기반 최적화를 가능하게 한다.
• SED와 그 기울기는 고전적 편집 거리와 유사한 동적 프로그래밍 상태에 대한 재귀 관계를 사용하여 다항 시간 내에 계산 가능하다.
• K-means와 같은 기울기 기반 알고리즘을 사용하여 길이가 변하는 기호 시퀀스의 효과적인 군집화가 가능하며, 이는 이산적 편집 거리에서는 실패한다.
• 온도 τ 를 사용한 소프트민 연산은 이산 최소값의 연속적 완화를 제공하며, 편집 경로 선택 과정에서 역전파를 가능하게 한다.
• 합성 및 생물학적 시퀀스에 대한 실증 평가 결과, SED는 정확한 공통 시퀀스 탐지 및 군집화를 지원하며, 최적화 안정성에서 비기울기 기반 대안보다 뛰어난 성능을 보였다.
• αi,j 및 βi,j 의 재귀 관계는 SED와 그 도함수의 효율적 계산을 가능하게 하여 생물정보학 및 자연어처리 분야에서 대규모 시퀀스 분석에 확장 가능한 방법이 되었다.